Могу ли я запустить Gemma 3 27B?

Gemma 3 27B — это модель, к которой стоит переходить, когда ассистент класса 8B кажется слишком слабым, а свободная память позволяет. Это chat-and-vision модель на 27.4B параметров от Google: она читает не только текст, но и изображения, и именно эта мультимодальность — главная причина выбрать её вместо текстовой модели того же размера. В 4-битной квантизации она занимает около 16.6 GB, поэтому карта на 12 GB вроде RTX 3060 её просто не вместит — для комфортной работы понадобится минимум 24 GB RAM или unified memory. Естественная среда для неё — RTX 4090 на 24 GB или Mac на чипах M-серии с большим объёмом unified memory.

В повседневной работе она ощущается как заметно более вдумчивый собеседник, чем маленькие модели, а мультимодальность делает её по-настоящему полезной для описания и анализа скриншотов и фотографий. На 4090 в 4-битном режиме можно рассчитывать примерно на 52 tok/s — это быстрее, чем вы успеваете читать; Mac с M Max ближе к 21 tok/s, что всё ещё вполне удобно, тогда как режим только на CPU с DDR5 падает примерно до 3 tok/s и годится разве что для пакетных задач. Контекст 128K реален, но дорог: его заполнение поднимает общий объём памяти примерно до 45.8 GB — это намного больше, чем держит одно устройство на 24 GB, поэтому без запаса по памяти держите рабочий контекст скромным.

Внутри своего семейства это тяжеловес: Gemma 3 4B — более лёгкий вариант, когда памяти мало, но vision всё ещё нужен. Более интересное сравнение — Qwen 3.5 27B, модель почти того же размера, у которой есть отдельные сильные стороны в рассуждении и коде; на задачах со структурированной математикой или кодом она обычно обходит Gemma, так что Gemma 3 27B берут скорее ради надёжного чата плюс понимания изображений, чем ради сложного reasoning. Её главное достоинство — именно этот баланс vision и чата при умеренном размере под одну GPU. Одна оговорка: лицензия Gemma — open-weight, а не open-source, поэтому прочитайте условия Google, прежде чем встраивать её в коммерческий продукт.