Kann ich Devstral Small 2 24B lokal ausführen?

Devstral Small 2 ist Mistrals 24B-Coding-Modell, und der Name lässt nicht ahnen, wie viel Hardware es einfordert. Mit 4-Bit-Quantisierung landet es bei rund 14,6 GB an Gewichten, womit die 12-GB-Karten der meisten Leute ausscheiden: Auf einer RTX 3060 passt es schlicht nicht. Realistisch willst du 24 GB Speicher, um es bequem zu betreiben — in der Praxis heißt das eine 24-GB-GPU wie eine 4090 oder ein Apple-Silicon-Mac mit mindestens 24 GB Unified Memory. Gehst du auf 2-Bit-Quantisierung runter, schrumpft es auf etwa 10,1 GB, aber das ist ein heftiger Qualitätskompromiss für ein Modell, dessen ganzer Sinn sorgfältige Codegenerierung ist.

Auf einer 4090 kannst du mit 4-Bit rund 59 Tokens pro Sekunde erwarten, was für eine agentische Coding-Schleife — Dateien lesen, planen, editieren — wirklich angenehm ist. Auf einem M-Max pendelt es sich näher bei ~24 tok/s ein, für interaktives Arbeiten noch brauchbar, aber bei längeren Generierungen spürst du es. Der vielbeworbene 256K-Kontext ist echt und nützlich, um ganze Repositories zu füttern, aber sei ehrlich zu den Kosten: Schon bei 128K beziffert das Datenblatt den Gesamtspeicher auf knapp 42,1 GB, weit jenseits einer einzelnen 24-GB-Karte. Behandle den großen Kontext als etwas, zu dem du bewusst greifst, nicht als Standard, den du offen lässt.

Gegenüber seinen Geschwistern ist Devstral die Wahl für ernsthafte Arbeit: Mistral 7B und Mistral Nemo 12B sind leichter und einfacher zu hosten, aber bei mehrstufigen Coding-Aufgaben meist schwächer, während Gemma 4 26B A4B der nächste Verwandte für Coding und Reasoning ist und einen direkten Vergleich wert ist, wenn du den Speicher hast. Was Devstral hervorhebt: Es wurde für agentisches, werkzeugnutzendes Code-Editing gebaut statt für One-Shot-Chat, und dieser Fokus zeigt sich darin, wie es einem Plan über mehrere Dateien hinweg folgt. Die Lizenz ist Apache 2.0, du kannst es also ohne Einschränkungen kommerziell und in der Produktion einsetzen — selten für ein derart leistungsfähiges Modell.