Kann ich Devstral 2 123B lokal ausführen?

Devstral 2 123B ist Mistrals großes, dichtes (dense) Coding-Modell und richtet sich klar an alle, die ernsthafte lokale Coding-Setups bauen, nicht an die Laptop-Fraktion. In 4-Bit-Quantisierung belegt es rund 74,6 GB, und das sagt eigentlich schon alles: Auf eine RTX 3060 mit 12 GB oder eine RTX 4090 mit 24 GB passt es schlicht nicht, Punkt. Du brauchst etwa 96 GB Speicher, um es bequem zu laden, realistisch also einen Apple-Silicon-Rechner mit viel RAM oder eine Workstation mit ordentlich Arbeitsspeicher. Das ist ein Modell, um das du deine Hardware herum planst, nicht eines, das du mal eben zum Ausprobieren herunterlädst.

Im Alltag ist die ehrliche Einschränkung die Geschwindigkeit. Auf einem Apple M Max liegst du bei rund 5 tok/s, und eine reine CPU-Maschine mit DDR5 fällt auf etwa 1 tok/s ab, was eher in Richtung Batch-Job geht als interaktiver Chat. Es liest und schreibt Code gut, aber du spürst jede Antwort langsam hereintröpfeln. Das Kontextfenster ist mit 256K auf dem Papier großzügig, doch der eigentliche Engpass ist der Speicher: Schon 128K Kontext verlangen rund 132 GB insgesamt, also hältst du auf einer 96-GB-Maschine den Arbeitskontext bescheiden und setzt auf kürzere, fokussierte Prompts.

Gegenüber dem MoE-Modell Qwen 3.5 122B-A10B aus den related_models ist der Kompromiss eindeutig: Jenes Modell aktiviert pro Token nur einen Teil seiner Gewichte und fühlt sich bei vergleichbarer Parameterzahl in der Regel schneller an, während Devstral 2 bei jedem Token alle 123B Parameter durchrechnet. Devstrals Stärke ist, ein fokussierter, dichter Coding-Spezialist von Mistral mit langem Kontext zu sein — vorausgesetzt, du hast den Speicher, um ihn zu füttern. Ein praktischer Hinweis zur Lizenz: Es kommt unter einer Modified MIT-Lizenz, lies also vor jedem kommerziellen Einsatz die konkreten Bedingungen, statt von der üblichen MIT-Freiheit auszugehen.