Kann ich Mistral Small 3.1 24B lokal ausführen?

Zu Mistral Small 3.1 24B greifst du, wenn dich ein 8B-Modell bei schwierigeren Prompts immer wieder enttäuscht, du aber nicht gleich auf ein 70B-Modell aufstocken willst. Es ist ein 24B-Modell für Chat und Vision, liest also Bilder genauso wie Text, und es kommt unter Apache 2.0 – das heißt, du darfst es ohne Einschränkungen kommerziell und in Produktion einsetzen. Der Haken ist der Speicherbedarf: bei einer 4-Bit-Quantisierung landet es bei rund 14.6 GB, und du brauchst etwa 24 GB Speicher, um es komfortabel zu betreiben. Damit fällt eine 12-GB-Karte wie die RTX 3060 raus, auf der es schlicht nicht passt, und du brauchst eine GPU mit 24 GB oder einen Apple-Silicon-Mac mit reichlich Unified Memory.

Auf einer 24-GB-Karte wie der RTX 4090 läuft es bei 4-Bit mit etwa 59 Tokens pro Sekunde – das streamt schneller, als du lesen kannst, und fühlt sich für ein Modell dieser Größe wirklich flott an. Auf einem M-Max liegst du eher bei rund 24 Tokens pro Sekunde, was für interaktiven Chat immer noch völlig brauchbar ist. Nur auf der CPU mit DDR5 sinkt das Tempo auf etwa 4 Tokens pro Sekunde – okay für einen Batch-Job über Nacht, aber nichts, wofür man wartend davorsitzen will. Das 128K-Kontextfenster ist echt, aber teuer: füllst du es komplett, klettert der Gesamtspeicher auf rund 42 GB, weit über das, was das Modell bei kurzem Kontext braucht. Halte den Arbeitskontext also bescheiden, solange du keinen Spielraum übrig hast.

Innerhalb der eigenen Familie ist es das Schwergewicht: Mistral Nemo 12B ist die leichtere, schnellere Wahl, wenn dein Speicher knapp ist, und Mistral 7B die absolute Minimal-Option, aber keines von beiden kommt bei schwierigerem Reasoning oder beim Befolgen von Anweisungen an Small 3.1 heran. Gemma 4 26B A4B ist der nähere Rivale bei der reinen Leistungsfähigkeit und punktet zusätzlich bei Coding und Reasoning – vergleiche also beide, falls dir genau diese Aufgaben am wichtigsten sind. Die herausragende Stärke von Small 3.1 ist die Kombination, die man selten zusammen bekommt: native Vision, ein langer Kontext und eine vollständig freizügige Apache-2.0-Lizenz. Das macht es zu einem der unkompliziertesten leistungsfähigen Modelle, das man tatsächlich in ein Produkt bringen kann.