Kann ich Ministral 3 14B lokal ausführen?

Ministral 3 14B ist Mistrals Mittelklasse-Modell vom Dezember 2025, ein dichtes Netz mit 14B Parametern, das zusätzlich Vision beherrscht. Damit ist es die richtige Wahl, wenn man ein einziges lokales Modell will, das chattet und Bilder liest, ohne mit zwei Checkpoints zu jonglieren. Als 4-Bit-Quant landet es bei rund 8.5 GB, also knapp über dem, was eine 8-GB-Karte bequem fasst, aber genau passend für eine 12 GB RTX 3060 oder jeden Apple-Silicon-Mac mit 16 GB Unified Memory oder mehr. Wer knapp dran ist, greift zum 2-Bit-Build und schrumpft auf etwa 5.9 GB; der q8-Build liegt eher bei 15 GB.

Im Alltag wirkt es flott für seine Größe. Auf einer RTX 3060 12 GB siehst du bei 4-Bit rund 36 Tokens pro Sekunde, bequem schneller als Lesegeschwindigkeit, und eine RTX 4090 treibt das auf grob 101 tok/s. Ein M-Max liegt bei etwa 41 tok/s. Das 256K-Kontextfenster ist die Schlagzeile, aber behandle es als Obergrenze, nicht als Standard: Selbst bei 128K klettert der Gesamtspeicher auf rund 30 GB, sobald sich der KV-Cache füllt – weit jenseits eines einzelnen 12-GB- oder 16-GB-Geräts. Halte den Arbeitskontext bei wenigen tausend Tokens, sofern du keine Karte mit 24 GB oder mehr übrig hast.

Im Vergleich zur Nachbarschaft hat Ministral 3 14B bei schwierigeren, mehrstufigen Prompts in der Regel die Nase vorn gegenüber älteren Geschwistern wie Mistral 7B und Mistral Nemo 12B – schlicht, weil es größer und neuer ist. OLMo 2 13B ist dagegen die Alternative mit vollständig offenen Trainingsdaten, falls dir Reproduzierbarkeit wichtiger ist als reine Leistung. Sein wahres Alleinstellungsmerkmal ist die integrierte Vision-Fähigkeit in dieser Größe mit einem wirklich brauchbaren Geschwindigkeitsprofil. Und die Lizenz ist der einfache Teil: Apache 2.0, du kannst es also kommerziell und produktiv einsetzen, ohne anbieterspezifische Auflagen.