我能跑 Nemotron 3 Nano 30B-A3B 吗？

Nemotron 3 Nano 是 NVIDIA 推出的混合专家（MoE）模型，面向那些既想在本地机器上获得出色的对话、推理和编程能力，又不愿承担完整稠密模型成本的用户。秘密就藏在名字里：它总共有 31.6B 参数，但每个 token 只激活约 3.6B，所以生成速度堪比小模型，思考能力却接近大得多的模型。每个 MoE 新手都要吃一次亏才明白的坑是：你仍然得把整个模型加载进内存。在 4-bit 量化下，权重大约是 19 GB，建议至少配 32 GB 内存，这就直接把 RTX 3060 这类 12 GB 显卡排除在外了。

日常使用中，激活参数这个把戏的效果非常明显。在 RTX 4090 上它能以约 393 tok/s 的速度输出，对这种能力的模型来说快得离谱；即便是 Apple Silicon M Max，靠统一内存也能跑到接近 160 tok/s。纯 CPU 跑 DDR5 则降到约 23 tok/s，做批处理任务还行，但不适合交互式对话。最抢眼的卖点是 1,000K 上下文窗口，但请把它当成广告数字看待：仅在 128K 上下文下，完整内存占用就会攀升到约 50 GB，所以在 32 GB 的机器上，你实际能用的也就是几万 token，远到不了一百万。

和同类相比，如果你需要视觉能力，Gemma 4 31B 是更灵活的选择，因为 Nemotron 3 Nano 只支持纯文本；而 Granite 4.0 H Small 是体量相近的稠密替代方案，适合不想折腾 MoE 内存怪癖的人。Nemotron 最擅长的是质量与吞吐量的平衡：在这个体量级别里，没有别的模型能生成得这么快、同时还能应付多步推理。在你基于它构建产品前有一点要提醒：NVIDIA Open Model 许可证是开放权重，而非真正的开源，所以务必仔细阅读条款，不要想当然地以为它对商业用途有 Apache 那样的自由度。