Могу ли я запустить Gemma 3 4B?

Gemma 3 4B — это компактная рабочая лошадка от Google для тех, кому нужен толковый локальный ассистент, который к тому же понимает изображения. При 4.3B параметрах модель работает заметно лучше, чем ожидаешь от 4B, а места занимает совсем немного: 4-битный квант весит около 2.6 GB, и для запуска хватает примерно 6 GB RAM. Это значит, что она поместится почти на чём угодно: на старом ноутбучном GPU с 8 GB, на базовом Mac с Apple Silicon и даже на RTX 3060 с 12 GB, где ещё останется запас. Если вам нужны зрение плюс чат без мощной машины, это очевидная отправная точка.

В повседневной работе модель ощущается шустрой. На RTX 3060 можно рассчитывать примерно на 117 токенов в секунду в 4-битном режиме, а на RTX 4090 скорость поднимается примерно до 329, так что ответы на любой из карт печатаются быстрее, чем вы их читаете. Apple M Max держится около 134 tok/s, и даже чистый CPU на DDR5 выдаёт около 20, что вполне пригодно для коротких запросов. Окно контекста в 128K реально, но дорого по памяти: заполните его целиком — и суммарный расход вырастет примерно до 15.3 GB, поэтому на маленьком GPU держите рабочий контекст в пределах нескольких тысяч токенов или переходите на квант поменьше.

В сравнении с Qwen 3 4B честный размен очевиден: Qwen 3 обычно сильнее в рассуждениях и структурированных многошаговых задачах, тогда как главный козырь Gemma 3 4B — зрение. Мало какие модели такого маленького размера действительно читают изображения, и уже одно это делает её выбором, когда нужна локальная мультимодальная модель на скромном железе. Если вам станет тесно, естественный шаг вверх в той же линейке — Gemma 3 12B. Одна оговорка: лицензия Gemma открыта по весам, но не open-source, и несёт собственные условия использования от Google, так что прочитайте их, прежде чем встраивать модель в продукт.