Kann ich Ministral 3 8B lokal ausführen?

Ministral 3 8B ist Mistrals Ende-2025-Interpretation des kleinen Allzweck-Modells für lokalen Betrieb und deckt Chat und Vision im selben 8B-Paket ab. Als 4-Bit-Quant liegt es bei rund 4.9 GB, passt also mit Reserve auf eine 8-GB-GPU und läuft problemlos im Unified Memory jedes Apple-Silicon-Macs. Die Angabe von 8 GB Mindest-RAM ist ehrlich auf die reinen Gewichte bezogen, was das Modell zu einer realistischen Wahl für ein Notebook oder eine günstige Gebraucht-GPU macht — eine Workstation braucht es dafür nicht.

Im Alltag fühlt es sich flott an. Auf einer RTX 3060 sind bei 4-Bit etwa 63 tok/s zu erwarten, eine 4090 schiebt das auf rund 177 tok/s, und ein M-Max liegt bei etwa 72 tok/s — alles schneller, als du eine gestreamte Antwort lesen kannst. Das Aushängeschild ist das 256K-Kontextfenster, aber behandle es als Obergrenze, nicht als Standard. Bei 128K Kontext steigt der gesamte Speicherbedarf auf etwa 21.7 GB, weit jenseits dessen, was eine 8-GB-Karte fasst. Halte den Arbeitskontext also bei wenigen tausend Tokens, sofern du nicht genug VRAM für das lange Fenster hast.

Gegenüber seinen Geschwistern hält es die Mitte: Mistral Nemo 12B bietet in der Regel mehr Spielraum für anspruchsvolleres Reasoning, wenn du dir das größere Modell leisten kannst, während Mistral 7B der schlankere Rückfall ist, wenn der Speicher knapp wird. Die herausragende Eigenschaft von Ministral 3 8B ist, dass Vision in denselben kleinen Footprint passt, du also Bildverständnis bekommst, ohne auf ein schwereres multimodales Modell umsteigen zu müssen. Es kommt unter Apache 2.0, das heißt: kommerzieller und produktiver Einsatz ohne anbieterspezifische Einschränkungen — eine wirklich saubere Lizenz für ein Modell dieser Leistungsklasse.