我能跑 GPT-OSS 120B 吗？

GPT-OSS 120B 是 OpenAI 推出的大型开放权重版本，面向那些希望把前沿级对话与推理模型完全跑在自己硬件上的用户。它采用 Mixture-of-Experts 架构，所以模型总参数量虽然高达 116.8B，但每个 token 实际只激活约 5.1B 参数。正是这个设计让它在如此体量下依然保持很快的速度，不过别被它在显存上的表现骗了：你仍然得把整个模型放进内存里。在 4-bit 量化下大约是 71 GB，要想运行顺畅，系统内存最好准备 96 GB 左右。这不是一款能塞进笔记本 GPU 的模型。

实际上这意味着 RTX 3060、甚至 4090 都装不下这个模型，所以现实的选择是高内存的 Apple Silicon 机器，或者一台内存充裕的 CPU 主机。在 M 系列 Max 上，你大致能跑到约 113 tok/s，对这个体量的模型来说真的算得上流畅。而在搭配 DDR5 的 CPU 上，速度会掉到约 16 tok/s——用来跑批处理任务还行，但对交互式对话就太慢了。128K 的上下文窗口很慷慨，可一旦把它填满，满上下文下的总内存占用会飙到约 127 GB；因此别把这个上限当成日常的工作规模，而要留出余量来规划。

和同级别模型相比，GPT-OSS 120B 更偏向对话与推理，而非编程或视觉。也就是说，如果你在同样的内存预算下需要处理代码或图像输入，像 Mistral Small 4 119B 这样的模型通常能覆盖更广的使用场景。当 96 GB RAM 根本不在考虑范围内时，它的小弟 GPT-OSS 20B 就是你该退而求其次的选择。这里最值得一提的亮点是许可证：Apache 2.0 意味着你可以将它用于商业和生产环境，且不受供应商附加的任何条件约束——在这一能力级别里这相当罕见，也是选择它的一个实打实的理由。