我能跑 Qwen3-Next 80B-A3B 吗？

Qwen3-Next 80B-A3B 是阿里巴巴推出的混合专家（MoE）模型，标称参数有一定的误导性，但这种误导反而很有用：它总共有 80B 参数，但每个 token 只激活其中约 3B。也就是说，它以小模型的速度生成，同时又能调用大模型的知识储备。代价在于显存/内存。你仍然得把整个模型完整加载进 RAM 或 VRAM，所以即便用 4-bit 量化、体积约 48.5 GB，也至少需要 64 GB 才能跑起来。这就排除了单张消费级 GPU，把你引向大内存机器。

实际上这是一款面向 Apple Silicon 或工作站的模型，而非游戏显卡的菜。在 unified memory 足够的 M Max 上，它的输出速度约为每秒 192 个 token，对于 80B 级别的模型来说确实够快，这也是大家愿意选它的主要原因。12 GB 的 RTX 3060 或 24 GB 的 RTX 4090 根本加载不了。如果你用 DDR5 在 CPU 上跑，仍然能达到约每秒 28 个 token，慢一些，但对批处理任务够用。256K 上下文是真实可用的，但很吃内存：推到接近 128K 时，总内存占用可能达到约 95.8 GB，所以填满之前要留好余量。

与最直接的稠密模型对手 Llama 3.1 70B 相比，Qwen3-Next 在同等体量下明显感觉更快，因为它每一步只激活 3B 参数，而 Llama 必须跑完全部 70B。它在对话和推理上的质量很有竞争力，不过在最难的多步骤提示上，稠密的 70B 模型仍可能略胜一筹。它最突出的特点正是这种速度与体量之比：用小模型的延迟，换来大模型的知识广度——前提是你有足够内存来承载它。许可证为 Apache 2.0，因此你可以自由地商用、用于生产环境，不受厂商专属条款的约束。