我能跑 Qwen 3.5 122B-A10B 吗？

Qwen 3.5 122B-A10B 是一个大型 mixture-of-experts 模型，面向想在自己硬件上跑出前沿级对话、推理、编程和视觉能力的人。MoE 设计是它的核心：122B 总参数中，每个 token 只激活 10B，所以它的生成速度远快于同等规模的稠密模型。代价在显存/内存，因为整个模型仍需常驻。4-bit 量化下约为 74 GB，光是把它加载进来就需要大约 96 GB 的 RAM。实际上这意味着一台大内存工作站，或一台配备大容量统一内存的 Apple Silicon Mac；它装不进 24 GB 的 RTX 4090，更别说 12 GB 的显卡了。

在装得下它的机器上，凭借那 10B 激活参数，它在这个体量下快得出乎意料。在 M Max 上大约能跑到每秒 57 个 token，流式输出时读起来很顺；而纯 CPU 的 DDR5 机器会降到约每秒 8 个 token，更适合批处理而非实时对话。上下文窗口最高可达 256K，但请把它当作上限。内存随你实际填入的内容增长，在 128K 上下文时总占用会攀升到约 131 GB，所以那些长上下文数字默认你用的是为此打造的机器。

对比参数量几乎相同的 Devstral 2 123B，Qwen 3.5 通常以广度换取了纯编程的专注度：它在一个模型里覆盖对话、推理和视觉，而不是专精某一项。这种多面性是它最突出的特点；当你只需要在普通硬件上做轻量对话时，更小的 Qwen 3 0.6B 和 1.7B 仍是明智之选。许可证为 Apache 2.0，因此你可以毫无限制地用于商业和生产环境——这在这个能力级别上很罕见，也是相比那些限制更多的权重而选择它的实在理由。