我能跑 GPT-OSS 20B 吗？

GPT-OSS 20B 是 OpenAI 推出的开放权重推理模型，理解它的关键在于这是一个混合专家（MoE）架构：在总共 20.9B 参数中，每个 token 实际只激活 3.6B。这意味着它的运行速度远快于同等规模的稠密 20B 模型，但你仍然得把整个模型放进内存里。在 4-bit 量化下体积约为 12.7 GB，实际的内存底线大约是 24 GB。它装不进像 RTX 3060 这样的 12 GB 显卡，所以现实选择是 4090 这类 24 GB 显存的 GPU，或者一台拥有充足统一内存的 Apple Silicon Mac。

日常使用中，相对于它的体量，速度感觉很快，这正是 MoE 带来的回报。在 RTX 4090 上可以达到约 393 tok/s，在 M 系列 Max 芯片上约为 160 tok/s，两者都远超阅读速度。仅用 CPU 在 DDR5 上则降到约 23 tok/s，适合批处理任务，但不适合交互式聊天。128K 的上下文窗口很慷慨，却也是悄悄吃内存的部分：一旦填满，加载 KV 缓存后总占用会攀升到约 38.5 GB。除非你有富余的余量，否则请把工作上下文控制在适度范围，或者退而使用约 8.8 GB 的 q2 版本。

它是为聊天和推理而非编程打造的，所以做编程工作时，Codestral 22B 之类的模型通常更合适；如果你还需要视觉能力，Mistral Small 3.1 24B 是首选。它最突出的特点是在仅 3.6B 激活参数的成本下提供的推理质量；如果你想要更大的余量，更大的同门 GPT-OSS 120B 沿用了同一套配方并向上扩展。它的许可证是 Apache 2.0，因此可以真正自由使用，包括商业用途和生产环境，没有任何针对特定服务商的附加限制。