Могу ли я запустить Llama 4 Scout?

Llama 4 Scout — это модель Meta с архитектурой mixture-of-experts, и главное здесь — понять разрыв между двумя её размерами. Всего в ней 109B параметров, но на каждый токен задействуется лишь 17B из них, поэтому генерирует она со скоростью модели на 17B, а память требует как полная модель на 109B. В 4-битном кванте это около 66 GB на диске, и для загрузки нужно минимум 96 GB RAM или unified memory. Это не модель для 24-гигабайтной потребительской видеокарты: ни RTX 3060, ни RTX 4090 её попросту не вмещают. Реально это задача для рабочей станции или Apple Silicon в максимальной комплектации.

На Apple M Max с достаточным объёмом unified memory она выдаёт около 34 tok/s в 4-битном кванте — это заметно быстрее, чем вы читаете, и вполне комфортно для интерактивного чата и её vision-задач. На CPU с DDR5 скорость падает примерно до 5 tok/s: годится для пакетной обработки, но мучительно для диалога в реальном времени. Заявленный контекст огромен, но будьте осторожны: приближение к 128K токенов поднимает общий объём памяти примерно до 120 GB, так что длинный контекст — это решение в рамках бюджета на железо, а не бесплатная настройка. Держите рабочий контекст скромным, если у вас нет запаса по памяти.

По сравнению с GPT-OSS 120B, другой крупной моделью этого класса, Scout выигрывает как мультимодальный выбор, поскольку умеет работать с изображениями, тогда как GPT-OSS обычно сильнее в чистом рассуждении. На фоне младших родственников вроде Llama 3.2 3B Scout — это совершенно иной уровень обязательств: те запускаются на «телефонном» объёме памяти, а этой нужен сервер. Её главное достоинство — действительно быстрая модель с поддержкой изображений на таком масштабе. Одна оговорка: она поставляется под лицензией Llama Community, которая является open-weight, а не open-source, поэтому проверьте условия, прежде чем строить на ней что-либо коммерческое.