我能跑 Codestral 22B 吗？

Codestral 22B 是 Mistral AI 专为编程打造的模型，主攻代码补全与生成，而非开放式对话。它有 22.2 billion 参数，比大多数人入门时用的 7B-12B 模型大了一个档次，占用也明显更高：4-bit 量化版约 13.5 GB，要想跑得顺畅，至少需要 24 GB RAM。这就把它挡在了 RTX 3060 这类 12 GB 显卡之外——根本装不下。现实中的入门门槛是 24 GB 显存的显卡（比如 RTX 4090），或是统一内存充足的 Apple Silicon Mac。

在 RTX 4090 上，4-bit 量化大约能跑到 64 tok/s，快到代码建议几乎是即时弹出。Apple M 系列 Max 要慢一些，约 26 tok/s，但用于交互式编辑仍然够用；而仅靠 CPU 在 DDR5 内存上则降到约 4 tok/s，基本只适合那种可以丢着不管的批处理任务。上下文窗口为 32K，按今天的标准算不大，但对大多数单文件和小仓库的工作绰绰有余。一旦把它填满，总内存占用约为 20.1 GB，所以在 24 GB 显卡上跑满上下文几乎不留余量。

和同门相比，Codestral 是专才：如果内存吃紧，Mistral Nemo 12B 是更轻量的通用对话之选，而 GPT-OSS 20B 在推理和对话上通常更胜一筹。Codestral 的最大亮点在于它专门针对多种语言的代码做过训练，所以在中间填充（fill-in-the-middle）补全和生成上，往往比同尺寸的通用模型更贴合需求。需要严肃提醒的一点是许可证：Codestral 采用 Mistral 的 MNPL，这是一张非生产用途许可证，因此你不能将它用于商业用途或正式产品中。请仅把它当作研究和个人使用的工具。