Могу ли я запустить Gemma 4 E4B?

Gemma 4 E4B — это компактная mixture-of-experts модель от Google, хороший выбор, если вам нужен локальный ассистент, который умеет ещё и читать изображения. Хитрость MoE в следующем: из 8B параметров на каждый токен работает лишь около 4.5B, поэтому модель выдаёт скорость гораздо меньшей сети, но в память всё равно нужно загрузить её целиком. В 4-bit она занимает около 4.9 GB — на карте с 12 GB вроде RTX 3060 остаётся куча свободного места, и она спокойно помещается в unified memory у Apple Silicon Mac с 8 GB. Планируйте память по всей модели, а не по активному срезу.

В повседневной работе ощущается быстрой. На RTX 3060 в 4-bit ждите около 112 токенов в секунду; топовая карта вроде RTX 4090 разгоняет это за 300, то есть быстрее, чем вы успеваете читать. На стороне Apple Silicon M-Max держится в районе ~128 tok/s, а на чистом CPU поверх DDR5, если хватит терпения, выходит примерно 19 tok/s. Окно контекста 128K реальное, но дорогое: если заполнить его полностью, суммарная память поднимается примерно до 21.7 GB, что намного больше, чем подразумевают одни лишь веса. На скромном железе держите рабочий контекст в пределах нескольких тысяч токенов — так будет комфортно.

В сравнении с более лёгким родственником Gemma 3 4B модель E4B обычно выдаёт результат сильнее, сохраняя при этом такой же небольшой активный объём; обе обрабатывают изображения, так что E4B — лучший вариант по умолчанию, если вы реально не упираетесь в память. Её главная фишка — тот самый компромисс MoE между скоростью и качеством: чат и понимание изображений с задержкой маленькой модели. С лицензией всё просто. Apache 2.0 означает, что вы можете свободно использовать модель без каких-либо специфических для вендора ограничений, включая коммерческое применение и продакшен. Это делает её одной из самых беспроблемных локальных моделей, на которой действительно можно что-то строить.