我能跑 Qwen 3 30B-A3B 吗？

Qwen 3 30B-A3B 是一个混合专家（mixture-of-experts，MoE）模型，这个事实从头到尾决定了你该如何评估它。它账面上有 30.5B 参数，但每个 token 实际只激活其中的 3.3B；也就是说，它以小模型的速度运行，却能用大模型的宽度来推理。麻烦在显存/内存上：你仍然得把整个模型放进 RAM。4-bit 量化大约占 18.5 GB，要跑得从容至少需要 32 GB。这把 RTX 3060 这类 12 GB 的显卡挡在门外，但能轻松塞进 32 GB 的 Apple Silicon Mac；只要把 context 控制得克制一些，24 GB 的 4090 也能跑。

日常使用中，MoE 设计带来的好处远超规格表所能体现的。在 4090 上你能看到大约每秒 428 token，连一块 M 系列 Max 也能维持约 174 tok/s 的较快速度——这是同样硬件上一个稠密（dense）的 30B 永远达不到的速度。如果只用 CPU 跑在 DDR5 上，这个数字会掉到约 25 tok/s，能用于批处理任务，但不适合交互式对话。128K context 是真实可用的，不过要留意预算：把它填满会让总内存占用升到约 49.1 GB。所以在一台 32 GB 的机器上，请把工作 context 控制得克制些，并倾向于选用更小的量化，而不是硬撑满整个窗口。

和参数量几乎相同（30.7B）的 Gemma 4 31B 相比，取舍就很清楚了。Gemma 是稠密（dense）模型，并额外具备代码和视觉（vision）能力，因此在多模态和结构化代码任务上感觉更强。相对地，Qwen 3 30B-A3B 的稀疏（sparse）设计，让它在这个体量级别的对话和推理上，按每个 token 计算明显更快。考虑到它所占的资源，这份速度正是该模型的亮点。它还采用 Apache 2.0 许可证；也就是说，不像某些厂商专属的开放权重条款，你可以毫无许可顾虑地把它自由用于商业和生产环境。