Могу ли я запустить Llama 3.2 3B?

Llama 3.2 3B — это модель, к которой стоит обращаться, когда нужен полноценный ассистент на железе, которое почти не замечает нагрузки. В 4-битной квантизации она занимает около 1.9 GB и требует всего порядка 4 GB RAM, поэтому помещается практически куда угодно: на бюджетный ноутбук, на плату класса Raspberry с достаточным объёмом памяти, на старую видеокарту с 6 GB или на любой Mac с Apple Silicon, где есть запас. Если семейство 8B оказывается тяжёлым для вашей машины, это тот шаг вниз, на котором чат остаётся по-настоящему полезным.

В повседневной работе главное преимущество — скорость. На RTX 3060 можно рассчитывать примерно на 158 токенов в секунду, а 4090 разгоняет это до примерно 442 — это намного быстрее, чем вы успеваете читать; даже CPU с DDR5 выдаёт около 26 tok/s, если видеокарты нет вовсе. Контекстное окно заявлено в 128K, но к памяти стоит относиться трезво: его полное заполнение поднимает суммарное потребление примерно до 13 GB — заметно выше базового аппетита модели, так что на слабых машинах держите рабочий контекст в пределах нескольких тысяч токенов.

На фоне собственного семейства Llama 3.2 3B жертвует глубиной ради компактности. Llama 3.1 8B в целом лучше справляется со сложными рассуждениями и многошаговыми инструкциями, а младшая 1B оправдана лишь тогда, когда вы действительно ограничены в памяти и готовы мириться со слабыми ответами. Главная черта 3B в том, что это самая маленькая Llama, которая всё ещё ощущается как толковый собеседник, а не игрушка. Одна оговорка: она поставляется под лицензией Llama Community — она открытая по весам, но несёт собственные условия Meta, поэтому это не полноценный open-source. Изучите эти условия, прежде чем строить на ней продукт.