Nemotron 3 Nano 30B-A3Bは動く？

Nemotron 3 Nano は NVIDIA による Mixture-of-Experts モデルで、密なモデルのフルコストを払わずにローカル環境で高品質なチャット・推論・コーディングを動かしたい人向けです。仕組みは名前のとおりで、合計 31.6B のパラメータを持ちながら、トークンごとにルーティングされるのは約 3.6B だけ。そのため、はるかに大きなモデルで「考え」つつ、小さなモデル並みの速度で生成します。MoE 初心者が必ず痛い目で学ぶ落とし穴は、結局モデル全体をロードしなければならないこと。4-bit 量子化でも重みはおよそ 19 GB あり、最低でも 32 GB の RAM が欲しいので、RTX 3060 のような 12 GB のカードは完全に対象外になります。

日常的な使用では、アクティブパラメータの仕組みが本当に効いてきます。RTX 4090 では毎秒およそ 393 tok/s でストリーミングし、この能力のモデルとしては馬鹿げて速く、Apple Silicon M Max でもユニファイドメモリ上で 160 tok/s 近くを出します。DDR5 の CPU のみだと約 23 tok/s まで落ち、バッチ処理には使えますが対話的なチャットには向きません。目玉機能は 1,000K のコンテキストウィンドウですが、これは看板用の数字だと割り切ってください。コンテキストがわずか 128K でも全体のメモリ使用量は約 50 GB まで膨らむため、32 GB のマシンでは現実的には数万トークン程度が相手で、100 万トークンではありません。

競合と比べると、ビジョンが必要なら Gemma 4 31B のほうが柔軟な選択肢です。Nemotron 3 Nano はテキスト専用だからです。また MoE 特有のメモリの癖に悩まされたくないなら、同規模の密なモデルである Granite 4.0 H Small が比較対象になります。Nemotron が最も得意とするのは品質あたりのスループットで、このサイズ帯でこれほど速く生成しつつマルチステップ推論までこなせるものは他にありません。これを土台にする前に一点だけ注意を。NVIDIA Open Model ライセンスはオープンウェイトであって真のオープンソースではないので、商用利用に Apache 系の自由さがあると思い込まず、規約をよく読んでください。