Kann ich Mistral Small 4 119B lokal ausführen?

Mistral Small 4 119B ist der Außenseiter dieser Familie: "small" im Namen, aber es bringt insgesamt 119B Parameter mit, als Mixture-of-Experts, das pro Token nur 6.5B aktiviert. Genau dieses Design ist der Grund, warum es bei der Geschwindigkeit über seiner aktiven Größe spielt – im Speicher zahlst du trotzdem für das ganze Modell. In 4-Bit landet es bei rund 72 GB, und du brauchst etwa 96 GB RAM, um es zu halten. Keine Consumer-GPU reicht hier: Eine RTX 3060 mit 12 GB und sogar eine RTX 4090 mit 24 GB fallen beide raus. Das ist ein Modell für Workstations oder Maschinen mit viel Unified Memory, keine Wahl fürs Laptop.

Im Alltag zahlt sich der MoE-Trick dort aus, wo es zählt. Auf einem Apple M Max mit viel Speicher läuft es mit nahezu 88 Tokens pro Sekunde, was sich für ein Modell dieser Größe flüssig wie ein Gespräch anfühlt, und selbst auf der CPU mit DDR5 bekommst du etwa 13 Tokens pro Sekunde, wenn du etwas Geduld mitbringst. Der 256K-Kontext ist auf dem Papier großzügig, aber behalte den Speicher im Auge: Bei 128K Kontext steigt der Gesamtbedarf auf rund 128.6 GB, das lange Fenster ist also nur real, wenn dein RAM es trägt. Betrachte den vollen Kontext als Frage des Hardware-Budgets, nicht als kostenlose Einstellung.

Innerhalb der eigenen Linie sind Mistral 7B und Nemo 12B die leichtgewichtigen, reinen Chat-Optionen, falls du keine 96 GB bereitstellen kannst; dieses Modell zieht bei Reasoning, Coding und Vision in der Regel davon, was jene beiden überhaupt nicht beherrschen. Sein nächster Konkurrent hier ist Nemotron 3 Super 120B-A12B, ein weiteres großes MoE in derselben Gewichtsklasse; die beiden liefern sich eher ein Kopf-an-Kopf-Rennen, als dass eines klar führt. Das Herausragende: Du bekommst ein Vier-Aufgaben-Modell (Chat, Reasoning, Coding, Vision) unter einer echten Apache 2.0-Lizenz, kommerzieller und produktiver Einsatz sind also vollständig erlaubt, ohne Auflagen seitens des Anbieters.