我能跑 Devstral Small 2 24B 吗？

Devstral Small 2 是 Mistral 推出的 24B 编程模型，光看名字会让人低估它对硬件的要求。在 4-bit 量化下，权重大约占 14.6 GB，所以大多数人手里的 12 GB 显卡就不够用了：在 RTX 3060 上根本装不下。要想跑得舒服，现实点说你需要 24 GB 显存，也就是一块像 4090 这样的 24 GB GPU，或者一台至少配 24 GB 统一内存的 Apple Silicon Mac。如果降到 2-bit 量化，体积会缩到约 10.1 GB，但对于一个核心卖点就是严谨代码生成的模型来说，这种生成质量上的妥协代价太大。

在 4090 上，4-bit 大约能跑到每秒 59 tokens，对于读文件、做规划、改代码的智能体式编程循环来说，这个速度相当顺手。换到 M 系列 Max 上，速度会落到接近 24 tok/s，交互使用仍然够用，但生成较长内容时就能明显感觉到了。宣传中的 256K 上下文是真实可用的，足以把整个代码仓库喂进去，但要对成本诚实：即便在 128K 下，参数表显示总内存也接近 42.1 GB，远远超出单张 24 GB 显卡的承受范围。请把这个超大上下文当成需要时才有意启用的工具，而不是一直开着的默认设置。

和同门相比，Devstral 是干正经活的首选：Mistral 7B 和 Mistral Nemo 12B 更轻、更好部署，但在多步骤编程任务上通常较弱；而 Gemma 4 26B A4B 在编程与推理上是它最接近的对手，如果你内存够用，值得拿来做一次同台对比。Devstral 的过人之处在于，它是为智能体式、能调用工具的代码编辑而生，而非一问一答的对话，这种专注体现在它能跨多个文件贯彻同一套计划的能力上。它采用 Apache 2.0 许可证，可以不受限制地用于商业和生产环境——对于一个能力如此强的模型来说，这点相当难得。