Kann ich Magistral Small 1.2 lokal ausführen?

Magistral Small 1.2 ist Mistrals 24B-Reasoning-Modell und richtet sich an alle, die einen lokalen Assistenten wollen, der mehrstufige Probleme wirklich durchdenkt, statt nur zu plaudern. Es beherrscht auch Vision und allgemeine Konversation, aber das Reasoning ist der eigentliche Grund, dazu zu greifen. Zuerst sollte man den Speicherbedarf einplanen: Bei einer 4-Bit-Quantisierung landet es bei etwa 14.6 GB, und für komfortablen Betrieb braucht man rund 24 GB Arbeitsspeicher. Damit fällt eine 12-GB-Karte wie die RTX 3060 raus, auf der es schlicht nicht passt, und man landet bei einer 24-GB-GPU oder einem Apple-Silicon-Mac mit mehr Speicher.

Auf einer RTX 4090 liefert es rund 59 Tokens pro Sekunde, schnell genug, dass sich das schrittweise Reasoning nie wie Warten anfühlt. Auf einem M-Max liegt man eher bei 24 Tokens pro Sekunde, für interaktives Arbeiten immer noch bestens nutzbar, und reiner CPU-Betrieb auf DDR5 fällt auf etwa 4 Tokens pro Sekunde ab, in Ordnung für Batch-Jobs, aber nicht für Live-Chat. Die 128K Kontext sind echt, aber speicherhungrig: Füllt man sie komplett, klettert der Gesamtverbrauch auf rund 42 GB, deutlich mehr als eine einzelne 24-GB-Karte fasst. Halte den Arbeitskontext also moderat, sofern du keine Reserven hast.

Im Vergleich zu den Geschwistern ist Mistral Nemo 12B die leichtere, schnellere Wahl, wenn es dir vor allem um Chat geht und du den Speicher nicht erübrigen kannst, während Gemma 4 26B A4B bei ähnlicher Größe in der Regel direkter beim Reasoning, Coding und Vision mithält. Magistrals herausragendes Merkmal ist dieser Reasoning-Fokus in einem Modell, das dir vollständig gehört: Die Apache-2.0-Lizenz erlaubt kommerziellen und produktiven Einsatz ohne Auflagen seitens des Anbieters, was für einen leistungsfähigen 24B-Reasoner selten ist. Wenn du die 24 GB hast, um es zu füttern, gehört es zu den ernstzunehmenderen lokalen Denkmodellen, die verfügbar sind.