Могу ли я запустить Gemma 4 12B?

Gemma 4 12B — это плотная модель на 12B с поддержкой зрения, рассчитанная на чат, кодинг и рассуждения. Она для тех, кому нужен один толковый локальный ассистент, который к тому же умеет читать изображения. В 4-битном кванте она занимает около 7.3 GB, поэтому помещается на 12 GB карту вроде RTX 3060 с запасом под контекст и спокойно ложится в общую память на Mac с Apple Silicon. Для загрузки модели нужно минимум около 12 GB RAM. Если памяти впритык, 2-битная сборка падает примерно до 5 GB, но за это сжатие вы расплачиваетесь качеством.

В повседневной работе она выдаёт около 42 tok/s на RTX 3060 — достаточно быстро, чтобы читать ответ по мере генерации, — и порядка 48 tok/s на M-series Max. RTX 4090 разгоняет её за 100. Окно контекста в 256K щедрое, но воспринимайте его как запас, а не как режим по умолчанию. Даже при контексте 128K модель вместе с KV-кэшем разрастается примерно до 27.4 GB в сумме — это намного больше одной 12 GB карты, так что вы упрётесь в системную память или сильно просядете по скорости. На потребительском железе держите рабочий контекст в пределах нескольких тысяч токенов.

По сравнению с более лёгкой Gemma 3 4B версия на 12B в целом увереннее справляется с многошаговыми рассуждениями и кодингом — это и есть та плата, которую вы вносите за лишнюю память; Gemma 3 4B стоит выбирать, если вы ограничены в ресурсах или вам нужны только чат и зрение. Главная фишка здесь в том, что зрение и крепкие текстовые рассуждения поставляются в одной модели, которая при этом запускается на GPU среднего уровня. С лицензией тоже всё чисто: Apache 2.0 означает, что её можно использовать коммерчески и в продакшене без привязки к конкретному провайдеру.