Могу ли я запустить Gemma 4 31B?

Gemma 4 31B — это средне-крупная модель Google с открытыми весами на 30.7B параметров, рассчитанная сразу на чат, программирование, рассуждения и зрение в одном пакете. Запустить её на ноутбуке между делом не получится. В 4-bit квантовании она весит около 18.6 GB, и чтобы вообще загрузить её, нужно минимум 32 GB RAM, так что карта на 12 GB вроде RTX 3060 в неё попросту не помещается. Реалистичный дом для неё — это GPU на 24 GB, например RTX 4090, либо Mac на Apple Silicon с большим объёмом унифицированной памяти. Если вам нужен универсал на все руки и есть подходящее железо, именно на этом уровне локальные модели начинают ощущаться по-настоящему полезными.

В повседневной работе она скорее комфортная, чем стремительная. На RTX 4090 в 4-bit можно рассчитывать примерно на 46 tok/s — этого хватает, чтобы читать ответ прямо по мере его генерации; на Apple M Max скорость оседает ближе к 19 tok/s, что всё ещё нормально для интерактивной работы. Чистый CPU на DDR5 падает примерно до 3 tok/s — это уже территория исключительно для терпеливых. Контекстное окно в 256K щедрое, но дорогое: приближение к 128K уже требует около 49.3 GB суммарной памяти, поэтому относитесь к полному окну как к потолку и держите рабочий контекст скромным, если только у вас нет запаса памяти.

В сравнении с Qwen 3 30B-A3B, почти идентичным собратом на 30.5B, выбор сводится к архитектуре: подход mixture-of-experts у Qwen, как правило, расходует меньше ресурсов на токен, тогда как Gemma 4 31B — плотная (dense) модель, задействующая весь свой вес на каждом проходе, и обычно она ощущается стабильнее в задачах зрения и широкого следования инструкциям. Если нужно что-то заметно компактнее, более лёгкий вариант — Gemma 3 4B. Главное достоинство здесь — широта охвата: одна модель закрывает чат, код, рассуждения и изображения, причём под чистой лицензией Apache 2.0, которую можно использовать в коммерции и в продакшене без специфичных для провайдера ограничений.