Могу ли я запустить Nemotron 3 Nano 30B-A3B?

Nemotron 3 Nano — это mixture-of-experts модель от NVIDIA для тех, кому нужны сильный чат, рассуждения и кодинг на локальной машине без затрат, как у полноценной dense-модели. Весь фокус заложен в названии: всего у неё 31.6B параметров, но на каждый токен задействуется лишь около 3.6B, поэтому генерирует она со скоростью крошечной модели, а «думает» как гораздо более крупная. Подвох, на котором обжигается каждый новичок в MoE, в том, что грузить в память всё равно приходится всю модель целиком. При 4-битной квантизации это примерно 19 GB весов, и вам нужно минимум 32 GB RAM — а значит, карта вроде RTX 3060 с 12 GB полностью отпадает.

В повседневной работе приём с активными параметрами проявляется по полной. На RTX 4090 модель выдаёт около 393 tok/s, что неприлично быстро для столь способной модели, а даже Apple Silicon M Max держится у 160 tok/s на unified memory. На одном CPU с DDR5 скорость падает примерно до 23 tok/s — годится для пакетных задач, но не для интерактивного чата. Главная заявленная фишка — контекстное окно на 1,000K, но относитесь к этому как к рекламному щиту: уже при 128K контекста полный объём памяти вырастает примерно до 50 GB, так что на машине с 32 GB вы реально работаете с несколькими десятками тысяч токенов, а не с миллионом.

На фоне конкурентов Gemma 4 31B — более гибкий выбор, если нужно зрение, ведь Nemotron 3 Nano работает только с текстом, а Granite 4.0 H Small — сопоставимая по размеру dense-альтернатива, если вы не хотите возиться с особенностями памяти MoE. Лучше всего Nemotron справляется с соотношением пропускной способности к качеству: ничто другое в этом классе размеров не генерирует так быстро, при этом справляясь с многошаговыми рассуждениями. Одно предостережение, прежде чем строить на ней продукт: лицензия NVIDIA Open Model — это open-weight, а не настоящий open-source, поэтому внимательно читайте условия, а не рассчитывайте на свободу уровня Apache для коммерческого использования.