Могу ли я запустить Gemma 4 E2B?

Gemma 4 E2B — это компактная mixture-of-experts модель от Google, и самое интересное здесь в арифметике: всего в ней 5.1B параметров, но на каждый токен активируется лишь около 2.3B. То есть работает она со скоростью гораздо меньшей модели, но память при этом нужна под весь объём весов. 4-битный квант занимает примерно 3.1 GB, а чтобы держать полный набор весов, понадобится минимум около 6 GB RAM. Это укладывается в бюджетную видеокарту на 8 GB или в любой Mac на Apple Silicon с запасом, причём модель умеет и чат, и зрение — ей можно подавать не только текст, но и изображения.

В повседневной работе трюк с активными параметрами окупается чистой пропускной способностью. На RTX 3060 12GB она выдаёт около 219 токенов в секунду в 4-битном режиме, RTX 4090 переваливает за 600, а M-series Max держится около 250. Ответы стримятся куда быстрее, чем вы их читаете. Подводный камень — контекст на 128K: заполните его, и суммарная память вырастает примерно до 16.8 GB, что заметно выше тех 6 GB, которые нужны при коротком контексте. На слабой карте держите рабочий контекст в пределах нескольких тысяч токенов, иначе KV-кэш перерастёт саму модель.

Внутри своего семейства Gemma 3 4B — плотная альтернатива, если не хочется возиться с расходом памяти под MoE, а Qwen 3 4B обычно сильнее в многошаговых рассуждениях, поскольку именно на это и заточена. Главный козырь Gemma 4 E2B — соотношение скорости и возможностей плюс встроенное зрение в столь лёгком формате, что редкость для такого размера. Лицензия — Apache 2.0, поэтому, в отличие от прежних условий Gemma от Google, её можно использовать в продакшене и коммерчески без отдельной лицензии, которую пришлось бы вычитывать. Запускается командой ollama run gemma4:e2b — и всё готово.