我能跑 Magistral Small 1.2 吗？

Magistral Small 1.2 是 Mistral 推出的 24B 推理模型，面向那些想要一个能真正逐步思考多步骤问题、而不只是闲聊的本地助手的用户。它也支持视觉和通用对话，但推理才是选它的理由。首先要规划的是它的内存占用：在 4-bit 量化下大约为 14.6 GB，要想运行流畅，你需要大约 24 GB 内存。这就排除了像 RTX 3060 这样的 12 GB 显卡——它根本装不下——你需要一块 24 GB 的 GPU，或者一台内存更大的 Apple Silicon Mac。

在 RTX 4090 上，它的输出速度约为每秒 59 tokens，足够快，逐步推理时完全不会有等待感。在 M 系列 Max 上则接近每秒 24 tokens，用于交互式工作依然非常顺手；而纯 CPU、搭配 DDR5 内存时会降到约每秒 4 tokens，适合批处理任务但不适合实时对话。128K 上下文是货真价实的，但很吃内存：一旦填满，总占用会攀升到约 42 GB，远超单块 24 GB 显卡所能容纳的范围，所以除非你内存有富余，否则请把实际使用的上下文控制在适度范围内。

和它的同门相比，如果你主要想要聊天又腾不出那么多内存，Mistral Nemo 12B 是更轻量、更快的选择；而 Gemma 4 26B A4B 在相近体量下，通常在推理、编程和视觉方面竞争得更为直接。Magistral 最突出的特点，是把这种推理专长放进了一个你可以完全自主掌控的模型里：Apache 2.0 许可意味着你可以将它用于商业和生产环境，没有任何提供方的附加限制——对于一个能力出色的 24B 推理模型来说，这相当少见。只要你有 24 GB 内存来喂饱它，它就是目前可选的更为认真的本地思考模型之一。