Могу ли я запустить Mellum 2 12B-A2.5B?

Mellum 2 — это модель JetBrains, заточенная под код и построенная как mixture-of-experts: всего 12B параметров, но активны на каждый токен лишь около 2.5B. Именно в этом весь смысл архитектуры. Вы получаете скорость модели на 2-3B, но при этом по-прежнему держите в памяти полные 12B — так что не обманывайтесь числом активных параметров. При 4-битной квантизации размер опускается примерно до 7.3 GB, а практический минимум — около 12 GB RAM. Это помещается на карту с 12 GB вроде RTX 3060 или в единую память Mac на Apple Silicon, но 8 GB уже слишком мало. Если вы живёте в IDE от JetBrains и хотите локальное автодополнение кода, она сделана прямо под вас.

В повседневной работе архитектура MoE окупается: модель ощущается заметно быстрее, чем намекает её размер. На RTX 3060 12GB при 4-битной квантизации можно рассчитывать примерно на 202 токена в секунду, а RTX 4090 выдаёт за 565 — то есть автодополнения появляются раньше, чем вы успеваете дописать следующую строку. Контекст в 128K для кодовой модели действительно большой и удобен, чтобы скармливать целые файлы или заголовки целого репозитория, но он не бесплатен. Заполните его полностью — и суммарная память поднимается примерно до 27.4 GB, что заметно превышает возможности одной карты с 12 GB. Поэтому, если у вас нет GPU на 24 GB или щедрого объёма единой памяти, держите рабочий контекст скромным.

Стоит честно очертить область применения: это специалист по коду, а не универсальный ассистент. Для чата, рассуждений или любых задач с изображениями более широкая 12B вроде Gemma 4 12B обычно справится лучше, а для свободного разговора Mistral Nemo 12B чаще оказывается более дружелюбным выбором. Главная сильная сторона Mellum 2 — именно это соотношение скорости и размера от MoE в задачах автодополнения плюс первоклассная интеграция с IDE от тех, кто делает ваш редактор. А с лицензией всё просто: Apache 2.0, так что её можно использовать коммерчески и в продакшене без юридических хлопот. Если ваша основная работа — код и у вас есть карта на 12 GB, это сильный и быстрый локальный вариант.