我能跑 Ministral 3 8B 吗？

Ministral 3 8B 是 Mistral 在 2025 年底推出的小型全能本地模型，把对话和视觉能力装进了同一个 8B 模型里。4-bit 量化下体积约为 4.9 GB，因此能轻松塞进 8 GB 显存的 GPU，还有余量，在任何 Apple Silicon Mac 的统一内存里也能流畅运行。官方给出的 8 GB 最低 RAM 只是权重本身的实在数字，这意味着它真正适合笔记本或便宜的二手 GPU，而不是非得用工作站才能跑得起来。

日常使用中它反应很快。在 RTX 3060 上，4-bit 量化大约能跑到 63 tok/s，4090 可以拉高到约 177 tok/s，M 系列 Max 则在 72 tok/s 左右，全都比你阅读流式回复的速度还快。最抢眼的是 256K 的上下文窗口，但请把它当成上限而不是默认值。当上下文用到 128K 时，整体显存占用会攀升到约 21.7 GB，远超 8 GB 显卡所能承受的范围，所以除非你有足够的 VRAM 撑起长窗口，否则请把实际工作上下文控制在几千个 token 以内。

和同门相比，它走的是折中路线：如果你能负担更大的模型，Mistral Nemo 12B 在更难的推理任务上通常有更多余量；而当内存吃紧时，Mistral 7B 则是更精简的退路。Ministral 3 8B 的最大亮点在于，视觉能力同样塞进了这个小巧的体积里，让你无需跳到更重的多模态模型就能获得图像理解能力。它采用 Apache 2.0 许可证发布，意味着你可以商用、可以上生产环境，没有任何厂商专属的附加限制——对一个能力如此强的模型来说，这是一份真正干净的许可证。