Могу ли я запустить Nemotron 3 Super 120B-A12B?

Nemotron 3 Super 120B-A12B — это mixture-of-experts модель от NVIDIA для тех, кому нужны рассуждения и кодинг уровня frontier на собственном железе и у кого хватает памяти это потянуть. Несмотря на 120B общих параметров, на каждый токен активируются лишь 12B, поэтому она работает заметно быстрее, чем подсказывает её размер, но всё равно требует места под всю модель целиком. В этом и подвох: даже в 4-битной квантизации она занимает около 72.8 GB, и для загрузки нужно минимум 96 GB RAM. Это не модель для 8 GB видеокарты. RTX 4090 с 24 GB её не вместит, и даже 2-битная сборка на примерно 50 GB остаётся вне досягаемости. Реалистичный дом для неё — мощный Apple Silicon с большой объединённой памятью или сервер с большим запасом системной RAM.

В повседневной работе архитектура MoE окупается. На Apple M Max можно рассчитывать примерно на 48 токенов в секунду, что ощущается по-настоящему интерактивно для чата, многошаговых рассуждений и помощи в коде, несмотря на ярлык 120B. Если перенести её на CPU с DDR5, скорость падает примерно до 7 токенов в секунду — годится для пакетной обработки, но не для живого диалога. Контекстное окно огромно — 1000K токенов, но воспринимайте это как потолок, а не как настройку, которую держат на максимуме. Даже заполнение 128K поднимает общий объём памяти примерно до 129.5 GB с учётом KV-кэша, так что на машине с 96 GB вы упрётесь в нехватку памяти задолго до заявленного лимита. Держите рабочий контекст скромным, если только у вас нет лишней памяти про запас.

Среди ближайших родственников Nemotron 3 Super оказывается в любопытной компании. Qwen 3.5 122B-A10B — MoE сопоставимого масштаба, который вдобавок работает с изображениями, чего эта модель не умеет, так что если вам нужен ввод картинок, у того варианта обычно преимущество. Mistral Small 4 119B сравнима по размеру и тоже мультимодальна. Если железо не дотягивает, куда более компактная Nemotron 3 Nano 30B-A3B — лёгкая альтернатива из того же семейства и, как правило, прагматичный выбор на ограниченных машинах. Сильная сторона Super — отдавать рассуждения класса 120B на скорости класса 12B для тех, кто способен её разместить. Одна оговорка: она поставляется под лицензией NVIDIA Open Model, поэтому изучите её условия, прежде чем полагаться на неё в коммерческих проектах, а не считать по умолчанию, что это обычная свобода open-source.