我能跑 Qwen 3 8B 吗？

当你想要一个能真正动点脑筋、而不只是闲聊的本地助手时，Qwen 3 8B 就是首选。4-bit 量化后体积约 5 GB，因此能塞进一块 8 GB 显存的 GPU，而 8 GB 最低内存要求意味着一台入门级 Apple Silicon Mac 或者普通台式机都能轻松跑起来。它最大的亮点是混合思考模式：回答之前可以多花一些 token 把问题推理一遍，这也是大家在同为 8B 级别的模型里更愿意选它、而不是普通聊天模型的原因。

日常使用感觉很流畅。在 RTX 3060 12GB 上大约能跑到每秒 62 tokens，M 系列 Max 上约 70，到了 RTX 4090 则能推到约 172，全都快到回复速度超过你的阅读速度。纯 CPU 在 DDR5 上会掉到约 10 tok/s，跑批处理够用，但谈不上交互。128K 上下文是货真价实的，不过要小心：真把它填满会让总内存占用攀升到约 22 GB，远超 8 GB 显卡能容纳的范围，所以除非你有充足余量，否则请把实际工作上下文控制在适度范围，或者改用 3.4 GB 的 q2 版本。

对比 Granite 3.3 8B——一款体量相近、主打聊天的开源模型——Qwen 3 8B 凭借思考模式，在多步推理和数学上通常更胜一筹，而 Granite 则显得更善于对话。它最突出的特质，就是在如此小巧的体量里塞进了这个推理开关。至于许可证，那是最省心的部分：Apache 2.0 意味着你可以将它用于商业用途和生产环境，没有任何厂商专属的附加限制——在这个体量的模型里，这其实比应有的更少见。