Nemotron 3 Super 120B-A12Bは動く？

Nemotron 3 Super 120B-A12B は、フロンティア級の推論とコーディングを自前のハードウェアで動かしたい、そしてそのためのメモリを用意できる人に向けた NVIDIA の Mixture-of-Experts モデルです。総パラメータは 120B ですが、トークンごとに有効化されるのは 12B だけなので、サイズから想像するよりずっと高速に動作します。とはいえモデル全体を載せる場所は必要で、ここが落とし穴です。4-bit 量子化でも約 72.8 GB に達し、ロードには最低 96 GB の RAM が要ります。これは 8 GB GPU 向けのモデルではありません。24 GB の RTX 4090 には収まらず、約 50 GB の 2-bit ビルドでも手が届きません。大容量のユニファイドメモリを積んだ Apple Silicon マシンや、システム RAM を潤沢に積んだサーバーが現実的な置き場所になります。

日常利用では MoE 設計が効いてきます。Apple M Max では約 48 tok/s が見込め、120B という名前のわりにチャットや多段推論、コーディング支援でも本当にインタラクティブに感じられます。DDR5 の CPU 実行に切り替えると約 7 tok/s まで落ち、バッチ処理には使えてもリアルタイム会話には向きません。コンテキストウィンドウは 1000K トークンと巨大ですが、これは上限であって常に最大で使う設定ではないと考えてください。128K を埋めるだけでも KV キャッシュを含めると総メモリは約 129.5 GB に膨らむため、96 GB マシンでは公称値に届くずっと手前で余裕を使い果たします。メモリに余裕がない限り、作業コンテキストは控えめに保ちましょう。

近い親戚と比べると、Nemotron 3 Super は興味深い顔ぶれの中に位置します。Qwen 3.5 122B-A10B は同規模の MoE で、本モデルにはないビジョン対応も備えるため、画像入力が必要ならそちらに分があるのが一般的です。Mistral Small 4 119B もサイズが近く、同じくマルチモーダルです。ハードウェアがここまで届かない場合は、同じファミリーのずっと小さい Nemotron 3 Nano 30B-A3B が軽量な代替で、制約の多いマシンでは現実的な選択になりがちです。Super の際立った長所は、ホストできる人にとって 120B 級の推論を 12B 級の速度で提供できる点にあります。一点注意として、本モデルは NVIDIA Open Model ライセンスで配布されているため、単なるオープンソースの自由を前提とせず、商用利用の前にその条項を確認してください。