Kann ich Mistral Nemo 12B lokal ausführen?

Mistral Nemo 12B ist das Modell, zu dem man greift, wenn ein 8B etwas zu mager wirkt, man aber trotzdem etwas möchte, das auf eine einzelne Consumer-GPU passt. Es ist ein dichtes 12,2B-Chat-Modell von Mistral AI, und mit 4-Bit-Quantisierung landet es bei rund 7,4 GB, was sauber auf eine 12-GB-Karte wie eine RTX 3060 passt, mit Platz für den Kontext. Zum Laden braucht es minimal etwa 12 GB RAM, läuft also bequem auf einem Apple-Silicon-Mac mit 16 GB oder mehr, und es schleppt sich notfalls auch über die CPU, wenn nichts anderes da ist.

Im Alltag fühlt es sich wie ein wohlerzogener Allzweck-Assistent an: zuverlässig beim Chatten, Zusammenfassen und Umschreiben, ohne die gelegentliche Unzuverlässigkeit kleinerer Modelle. Auf einer RTX 3060 kannst du mit etwa 41 tok/s bei 4-Bit rechnen, ein M-series Max bringt es auf rund 47 tok/s – beides schneller, als du lesen kannst. Das 128K-Kontextfenster ist echt, aber nicht umsonst: Füllt man es komplett, klettert der Gesamtspeicher auf etwa 27,7 GB, weit über das, was eine einzelne 12-GB-Karte fasst. Halte den Arbeitskontext also moderat, sofern du keine 24-GB-GPU oder reichlich Unified Memory hast.

Im Vergleich zu seinen Nachbarn hat Mistral Small 3.1 24B in der Regel die Nase vorn beim anspruchsvolleren Reasoning und bietet zusätzlich Bildverarbeitung, während Gemma 3 12B die gleich große Alternative ist, wenn du Bildeingabe möchtest, die Nemo nicht bietet. Nemos herausragende Stärke ist sein Sweet Spot: ein chat-fokussiertes 12B, das auf einer gängigen GPU bleibt und unter Apache 2.0 ausgeliefert wird – du darfst es also kommerziell und in der Produktion ohne Einschränkungen nutzen. Wenn du einen leistungsfähigen Text-Assistenten willst, der lokal einfach funktioniert und nie eine Lizenzfrage aufwirft, ist das eine leichte Wahl.