Kann ich Codestral 22B lokal ausführen?

Codestral 22B ist das dedizierte Coding-Modell von Mistral AI, gebaut für Code-Vervollständigung und -Generierung statt für offenen Chat. Mit 22,2 Milliarden Parametern ist es ein echter Größensprung gegenüber den 7B-12B-Modellen, mit denen die meisten anfangen, und das zeigt sich am Speicherbedarf: ein 4-Bit-Quant landet bei rund 13,5 GB, und das Modell will mindestens 24 GB RAM, um flüssig zu laufen. Damit ist es für eine 12-GB-Karte wie die RTX 3060 außer Reichweite – dort passt es schlicht nicht hinein. Eine 24-GB-GPU wie die RTX 4090 oder ein Apple-Silicon-Mac mit reichlich Unified Memory ist der realistische Einstiegspunkt.

Auf einer RTX 4090 sind bei 4 Bit etwa 64 Tokens pro Sekunde zu erwarten – schnell genug, dass sich Code-Vorschläge nahezu sofort anfühlen. Ein Apple M-Max liegt mit rund 26 tok/s niedriger, bleibt aber für interaktives Editieren brauchbar, während reiner CPU-Betrieb auf DDR5 auf etwa 4 tok/s einbricht – das taugt wirklich nur für Batch-Jobs, die man laufen lassen und vergessen kann. Das Kontextfenster beträgt 32K, nach heutigen Maßstäben bescheiden, aber großzügig für die meisten Einzeldatei- und kleinen Repo-Aufgaben. Füllt man es vollständig, kommt man auf rund 20,1 GB Gesamtspeicher – auf einer 24-GB-Karte lässt ein voller Kontext also kaum Spielraum.

Im Vergleich zu seinen Geschwistern ist Codestral der Spezialist: Mistral Nemo 12B ist die leichtere, allgemeine Chat-Wahl, wenn der Speicher knapp ist, und GPT-OSS 20B hat beim Schlussfolgern und im Dialog meist die Nase vorn. Codestrals herausragende Eigenschaft ist, dass es gezielt auf Code in vielen Sprachen trainiert wurde, sodass es sich bei Fill-in-the-Middle-Vervollständigung und Generierung tendenziell treffsicherer anfühlt als ein gleich großer Generalist. Der ernste Vorbehalt ist die Lizenz: Codestral wird unter Mistrals MNPL ausgeliefert, einer Nicht-Produktions-Lizenz – du darfst es also nicht kommerziell oder in einem Produktionsprodukt einsetzen. Betrachte es ausschließlich als Werkzeug für Forschung und privaten Gebrauch.