我能跑 Mistral Small 3.1 24B 吗？

当 8B 模型在较难的提示词上一再让你失望，但你又不想一步跨到 70B 时，Mistral Small 3.1 24B 就是你会去拿的那一档。它是一个 24B 的对话加视觉（chat-and-vision）模型，既能读文本也能读图像，并且以 Apache 2.0 许可发布，意味着你可以毫无附加条件地用于商业和生产环境。代价在于显存占用：4-bit 量化下大约落在 14.6 GB，而要跑得从容，你需要大约 24 GB 内存。这就排除了 RTX 3060 这类 12 GB 的卡，它根本塞不下，因此你需要一块 24 GB 显存的 GPU，或者一台配备充足统一内存的 Apple Silicon Mac。

在 RTX 4090 这样的 24 GB 显卡上，4-bit 下它能跑到每秒约 59 tok/s，输出比你阅读还快，对这个体量的模型来说手感相当利落。在 M 系列 Max 上则更接近每秒 24 tok/s，用于交互式对话依然完全够用。纯 CPU 配 DDR5 会掉到每秒约 4 tok/s，跑个通宵的批处理任务还行，但不适合你坐在屏幕前干等。128K 的上下文窗口货真价实，但代价高昂：把它填满，总内存会攀升到约 42 GB，远超模型在短上下文下的实际需求，所以除非你内存余量充裕，否则把工作上下文控制得克制些。

在自家家族里它是重量级选手：如果你内存吃紧，Mistral Nemo 12B 是更轻、更快的选择，Mistral 7B 则是最低门槛的选项，但这两者在较难的推理和指令遵循上都赶不上 Small 3.1。论原始能力，最接近的对手是 Gemma 4 26B A4B，它在编码和推理上还另有所长，所以如果这些任务对你最重要，不妨把两者对比一下。Small 3.1 最突出的特质是那个难得凑齐的组合：原生视觉、长上下文，以及完全宽松的 Apache 2.0 许可，这让它成为最容易真正落地到产品中的强力模型之一。