我能跑 Nemotron 3 Super 120B-A12B 吗？

Nemotron 3 Super 120B-A12B 是 NVIDIA 推出的 mixture-of-experts 模型，面向那些想在自己的硬件上跑前沿级推理和编程、并且有足够内存撑得住的人。它总参数量为 120B，但每个 token 只激活 12B，所以实际速度比体量看上去要快得多——不过整个模型仍然得装得下。问题就在这里：即便用 4-bit 量化，它也要占用约 72.8 GB，至少需要 96 GB RAM 才能加载。这不是一个 8 GB GPU 就能跑的模型。24 GB 的 RTX 4090 装不下它，连约 50 GB 的 2-bit 版本也够不着。比较现实的归宿是一台大统一内存的 Apple Silicon 机器，或者一台系统 RAM 充裕的服务器。

日常使用中，MoE 设计的优势就体现出来了。在 Apple M Max 上你大约能跑到每秒 48 tok/s，尽管挂着 120B 的名头，用于聊天、多步推理和编程辅助时却真的有交互感。如果把它丢到搭配 DDR5 的 CPU 上跑，速度会掉到约每秒 7 tok/s，适合批处理但不适合实时对话。上下文窗口高达 1000K token，但要把它当成上限，而不是一个长期拉满的设置。哪怕只填到 128K，算上 KV cache 后总内存就会推高到约 129.5 GB，所以在一台 96 GB 的机器上，你远没到宣传上限就会先把余量耗光。除非内存非常充裕，否则把工作上下文控制得保守一些。

和最接近的几个同类相比，Nemotron 3 Super 的处境颇为微妙。Qwen 3.5 122B-A10B 是规模相近的 MoE，而且还能处理视觉，本模型则不行，所以如果你需要图像输入，那一款通常更占优势。Mistral Small 4 119B 在体量上与之相当，同样是多模态。如果你的硬件够不到这个量级，小得多的 Nemotron 3 Nano 30B-A3B 是同一家族的轻量替代，在受限机器上往往是更务实的选择。Super 最突出的特点，是能为撑得起它的人以 12B 级的速度提供 120B 级的推理能力。有一点要注意：它采用 NVIDIA Open Model 许可证发布，所以在商用前请先核对这些条款，不要想当然地以为它享有纯粹的开源自由。