Могу ли я запустить Gemma 4 26B A4B?

Gemma 4 26B A4B — это mixture-of-experts (MoE) модель от Google, и вся суть зашита прямо в названии: всего она несёт 25.2B параметров, но на каждый токен задействует лишь 3.8B из них. То есть генерирует со скоростью небольшой модели, но в память приходится грузить её целиком. В 4-bit квантовании она занимает примерно 15.3 GB, и для комфортной загрузки вам нужно хотя бы 24 GB RAM. Это сразу вычёркивает 12-гигабайтную карту вроде RTX 3060 — модель туда попросту не влезает. Остаётся либо GPU на 24 GB, либо машина на Apple Silicon с щедрым объёмом unified memory.

В повседневной работе архитектура MoE окупается. На RTX 4090 модель выдаёт около 372 tok/s — это заметно быстрее, чем вы успеваете читать, а чип M-series Max всё ещё держит порядка 151 tok/s. На чистом CPU с DDR5 скорость падает до ~22 tok/s: для пакетных задач сгодится, а вот для интерактивного чата уже нет. Контекстное окно щедрое — 256K, но воспринимайте это как потолок: при 128K контекста суммарный объём памяти подрастает примерно до 43.4 GB. Поэтому на сборке с 24 GB рабочий контекст придётся держать скромным, если только вы не перейдёте на q2-вариант на 10.6 GB.

На фоне Mistral Small 3.1 24B — плотной (dense) vision-модели схожего размера — Gemma 4 за счёт разреженной маршрутизации обычно ощущается шустрее в пересчёте на токен, хотя dense-модели этого класса могут вырываться вперёд в самых тяжёлых рассуждениях за один проход. Её главный козырь — именно это соотношение скорости и возможностей плюс настоящая поддержка vision и coding в одном пакете. Лицензия — Apache 2.0, так что использовать модель можно коммерчески и в продакшене без специфичных для провайдера ограничений; для такого размера это редкость и весомый плюс. Скачать через ollama можно как gemma4:26b.