Kann ich Devstral 24B lokal ausführen?

Devstral 24B ist der Coding-Spezialist von Mistral AI, gebaut für alle, die einen leistungsfähigen lokalen Agenten für die Softwareentwicklung wollen statt eines allgemeinen Chat-Begleiters. Mit 24B dichten Parametern ist das Modell kein Leichtgewicht: Die 4-Bit-Quantisierung liegt bei rund 14,6 GB, und das Modell braucht mindestens etwa 24 GB RAM, um komfortabel zu laufen. Damit ist es für eine 12-GB-Karte wie die RTX 3060 unerreichbar, dort passt es schlicht nicht hinein. Die natürliche Heimat ist eine 24-GB-GPU wie die RTX 4090 oder ein Apple-Silicon-Mac mit reichlich Unified Memory. Wenn der Platz knapp ist, fällt der 2-Bit-Build auf etwa 10,1 GB.

Im täglichen Coding-Einsatz auf einer RTX 4090 kannst du mit rund 59 Tokens pro Sekunde bei 4-Bit rechnen, schnell genug, dass generierter Code flüssig durchläuft, während du ihn liest. Auf einem Apple M-Max pendelt es sich näher bei 24 Tokens pro Sekunde ein, weiterhin bestens nutzbar für interaktives Arbeiten, und reiner CPU-Betrieb auf DDR5 fällt auf etwa 4 Tokens pro Sekunde ab, was Geduld erfordert. Das 128K-Kontextfenster ist wirklich groß, aber nicht umsonst: Es voll auszuschöpfen treibt den Gesamtspeicher auf rund 42,1 GB, deutlich über den Ruheverbrauch des Modells hinaus, halte den Arbeitskontext also moderat, sofern du nicht genug Reserven übrig hast.

Im Vergleich zu seinen Geschwistern ist Devstral 24B das Schwergewicht: Mistral 7B und Mistral Nemo 12B sind deutlich leichter und auf allgemeinen Chat ausgelegt, sie laufen also auf Hardware, die für Devstral unerreichbar ist, hängen ihm bei echten Coding-Aufgaben aber meist hinterher. Der nähere Vergleich ist Gemma 4 26B A4B, ein ähnlich großes Modell, das neben Coding auch Chat, Reasoning und Vision beherrscht und tendenziell der vielseitigere Allrounder ist, wenn du ein Modell für alles willst. Devstrals herausragende Stärke ist sein enger Fokus auf Code, und die Apache-2.0-Lizenz bedeutet, dass du es frei einsetzen kannst, auch im kommerziellen Produktiveinsatz.