Kann ich Ministral 3 3B lokal ausführen?

Ministral 3 3B ist Mistrals Antwort auf die Frage "Was ist das kleinste Modell, das sich noch wie ein echter Assistent anfühlt?" Mit 3B Parametern ist es für Chat und leichte Vision-Aufgaben auf Hardware gebaut, die du ohnehin schon besitzt. Eine 4-Bit-Quantisierung landet bei etwa 1.8 GB, und die q2-Variante lässt sich auf 1.3 GB drücken, wenn es wirklich eng wird. Mit minimal 4 GB RAM läuft es auf einem Einsteiger-Laptop, einer alten 4-GB-GPU oder jedem Apple-Silicon-Mac, ohne dass du über den Speicher nachdenken musst. Das ist das Modell, zu dem du greifst, wenn ein größeres nicht mehr passt.

Im Alltag ist die Geschwindigkeit das Highlight. Auf einer RTX 3060 siehst du rund 168 tok/s, ein M-Max schiebt etwa 192, und eine 4090 erreicht ca. 471 - allesamt deutlich schneller, als du lesen kannst, sodass Antworten sofort wirken. Reiner CPU-Betrieb auf DDR5 schafft immer noch etwa 28 tok/s, brauchbar für Batch-Aufgaben. Das Kontextfenster ist mit 256K großzügig, doch behandle das als Obergrenze. Es zu füllen wird schnell teuer: Bei 128K Kontext steigt die gesamte Speicherlast auf rund 12.6 GB, weit über den Eigenbedarf des Modells hinaus - halte den Arbeitskontext auf kleinen Maschinen also bescheiden.

Ehrlich gesagt tauschst du bei 3B etwas Tiefe gegen diese Geschwindigkeit und den winzigen Speicherbedarf. Mistral 7B hält bei schwierigerem Reasoning und längeren Instruktionsketten in der Regel besser stand, und Mistral Nemo 12B zieht erneut davon, sofern du den Speicher übrig hast. Wo Ministral 3 3B punktet, ist die Kombination aus purem Durchsatz und der Tatsache, dass es zusätzlich Vision beherrscht - was die größeren, reinen Chat-Mistrals nicht tun. Es kommt unter Apache 2.0, du kannst es also ohne Einschränkungen kommerziell nutzen. Für ein schnelles, kostenloses Alleskönner-Kleinmodell verdient es sich seinen Platz.