Могу ли я запустить Gemma 3 1B?

Gemma 3 1B — крошечная чат-модель от Google, созданная для случаев, когда нужен локальный ассистент, который загружается мгновенно и запускается почти где угодно. В 4-битной квантизации она весит всего около 0.6 GB, а даже 8-битная сборка — примерно 1.1 GB, так что модель помещается в 3 GB RAM с большим запасом. Это значит, что она работает на старом ноутбуке, устройстве класса Raspberry Pi или чипе уровня смартфона, не задействуя дискретную GPU. Если вам нужно что-то для быстрого чата, набросков текста или встраивания в приложение, где дорог каждый мегабайт, — это та самая модель.

В повседневной работе главное — чистая скорость. На RTX 4090 она выдаёт около 1413 токенов в секунду, более типичная RTX 3060 всё ещё держит примерно 505 tok/s, а Apple M Max — около 575 tok/s. Даже на чистом CPU с памятью DDR5 получается порядка 84 tok/s — быстрее, чем вы успеваете читать. Контекстное окно — 32K, и в отличие от моделей покрупнее заполнять его можно дёшево: при полных 32K всё целиком занимает около 2.2 GB суммарно, так что память здесь точно не станет тем, что вас остановит.

Стоит честно сказать про её размер: при 1B параметров это не модель для рассуждений или кода, и на длинных многошаговых инструкциях она теряет нить. Если есть запас ресурсов, Gemma 3 4B обычно лучше справляется со сложными запросами и добавляет работу с изображениями, а Llama 3.2 1B — очевидная альтернатива того же веса для сравнения в обычном чате. Главная сильная черта Gemma 3 1B в том, что это, пожалуй, самая маленькая по-настоящему пригодная к работе чат-модель, которую можно запустить. Одна оговорка: она поставляется под лицензией Google Gemma — она с открытыми весами, но содержит специфичные для провайдера условия, поэтому прочитайте их, прежде чем использовать модель коммерчески.