Могу ли я запустить Gemma 3 12B?

Gemma 3 12B — это среднеразмерная open-weight модель от Google, и она занимает удобную нишу для тех, кому нужно больше возможностей, чем у привычных чат-моделей на 7-8B, но без перехода на что-то, требующее рабочей станции. В 4-битной квантизации она занимает около 7.4 GB, что помещается на карту с 12 GB вроде RTX 3060 с небольшим запасом, и комфортно работает в unified memory на Apple Silicon Mac с 16 GB и выше. Минимальный порог, чтобы вообще её загрузить, — 12 GB RAM. Она также умеет работать с изображениями, так что можно подавать ей картинки вместе с текстом, чего большинство моделей этого размера не умеет.

В повседневной работе она ощущается отзывчивой на потребительском железе. На RTX 3060 12GB вы получаете около 41 токена в секунду при 4-битной квантизации — быстрее, чем вы читаете, — а Apple M Max выдаёт примерно 47 tok/s. На 4090, если он у вас есть, всё летает на скорости около 116 tok/s. Подвох в окне контекста на 128K: оно действительно есть, но заполнять его дорого. На полных 128K модели вместе с KV-кэшем нужно в сумме около 27.7 GB — это намного больше того, что вмещает карта на 12 GB, поэтому держите рабочий контекст скромным, если только у вас нет GPU на 24 GB или достаточного объёма unified memory.

В сравнении с Mistral Nemo 12B — очевидной альтернативой того же размера — Gemma 3 12B обычно выигрывает в следовании инструкциям и мультимодальных задачах, поскольку Nemo работает только с текстом, хотя Nemo чаще оказывается более лёгким выбором для чисто длинноконтекстного чата. Если хочется остаться компактнее, Gemma 3 4B снижает требования к памяти, сохраняя поддержку изображений. Главное достоинство Gemma 3 12B в том, что это полноценная модель для работы с изображениями и чатом, которая всё ещё запускается на одной GPU среднего уровня. Одна оговорка: она поставляется под лицензией Google Gemma, которая является open-weight, но несёт специфичные для провайдера условия, поэтому прочитайте их перед любым коммерческим развёртыванием, а не считайте её обычным open source.