我能跑 Devstral 24B 吗？

Devstral 24B 是 Mistral AI 推出的编程专用模型，面向那些想要一个能胜任软件开发的本地智能体、而非通用聊天助手的用户。它有 24B 稠密参数，绝不算轻量：4-bit 量化版约占 14.6 GB，要想流畅运行，至少需要约 24 GB 内存。这让它彻底超出了 RTX 3060 这类 12 GB 显卡的能力范围——根本装不下。它真正的归宿是 RTX 4090 这样的 24 GB 显卡，或是配备充裕统一内存的 Apple Silicon Mac。如果空间紧张，2-bit 版本可降到约 10.1 GB。

在日常编程场景中，RTX 4090 上的 4-bit 版本大约能跑到 59 tok/s，足够快，生成的代码会在你阅读时流畅地输出。在 Apple M 系列 Max 上则稳定在约 24 tok/s，用于交互式开发依然完全够用；而纯 CPU 搭配 DDR5 时会降到约 4 tok/s，进入需要耐心等待的区间。128K 的上下文窗口确实很大，但并非没有代价：把它填满会把总内存推高到约 42.1 GB，远超模型空闲时的占用，所以除非你有充足余量，否则请把实际使用的上下文控制在适度范围内。

在同系列模型中，Devstral 24B 属于重量级：Mistral 7B 和 Mistral Nemo 12B 要轻得多，且偏向通用聊天，因此能在 Devstral 跑不动的硬件上运行，但在真正的编程任务上通常不及它。更接近的对比是 Gemma 4 26B A4B，一款体量相近的模型，除编程外还能处理聊天、推理和视觉，如果你想用一个模型应对一切，它往往是更全能的通才。Devstral 的突出特点在于它对代码的专注，而 Apache 2.0 许可证意味着你可以自由使用它，包括用于商业生产环境。