Могу ли я запустить Gemma 3n E4B?

Gemma 3n E4B — это компактная мультимодальная модель от Google, созданная для чата и работы с изображениями; она рассчитана на тех, кому нужен толковый локальный ассистент, умеющий ещё и смотреть на картинки. Формально в ней 7.8B параметров, но это архитектура mixture-of-experts: на каждый токен активируется лишь около 4B, поэтому работает она заметно быстрее, чем подразумевает её полный размер. В 4-bit она занимает примерно 4.7 GB — это спокойно помещается в 8 GB видеопамяти карты вроде RTX 3060 с запасом, а на любом современном Mac с Apple Silicon легко ложится в общую память. Подвох MoE в том, что всю модель всё равно нужно держать в памяти, так что рассчитывайте минимум на 8 GB RAM, сколько бы экспертов ни срабатывало.

В повседневной работе ощущается шустро. На RTX 3060 12GB можно ожидать около 126 токенов в секунду в 4-bit, а 4090 разгоняет это примерно до 353 — обе цифры заметно выше скорости чтения; M-series Max держится около 144, и даже чистый CPU на DDR5 выдаёт около 21, чем вполне можно пользоваться, если вы не спешите. Работа с изображениями — это и есть главная причина брать её вместо текстовой модели такого же размера. Контекст ограничен 32K: этого хватает для чата и вопросов по документам, но как тягач для длинного контекста модель не годится. Если заполнить это окно, суммарный расход памяти поднимается примерно до 8.8 GB, поэтому на карте с 8 GB держите рабочий контекст умеренным.

В сравнении с Llama 3.1 8B — очевидной текстовой альтернативой в этом классе — Gemma 3n E4B обычно жертвует частью глубины рассуждений ради двух вещей, которые Llama при таком же размере предложить не может: нативного понимания изображений и преимущества MoE в скорости. Если нужен только текст, Gemma 3 4B — более лёгкий вариант, а Llama 3.1 8B — более надёжный выбор для чистого чата. Сильная сторона Gemma 3n E4B в том, что это действительно пригодная для работы модель vision-and-chat, которая всё ещё умещается в 8 GB. Замечание по лицензии: лицензия Gemma — open-weight, а не open-source, со своими условиями использования от Google, так что прочитайте их перед запуском в продакшн, хотя коммерческое использование разрешено.