Kann ich Mistral 7B lokal ausführen?

Mistral 7B war das Modell, das als Erstes bewies, dass ein kleines Open-Weight-LLM wirklich nützlich sein kann, und es bleibt eine vernünftige Wahl für alle, die einen schlanken lokalen Chat-Assistenten suchen. Mit 4-Bit-Quantisierung landet es bei rund 4.4 GB und passt damit locker auf eine 8-GB-GPU, läuft problemlos im Unified Memory jedes Apple-Silicon-Macs, und selbst ein 2-Bit-Build mit etwa 3 GB ist drin, wenn du es auf ältere Hardware quetschst. Seine Apache-2.0-Lizenz ist so permissiv wie es nur geht: frei kommerziell nutzbar, ohne Auflagen seitens des Anbieters.

Im Alltag ist es schnell und zuverlässig für Chat und kurze Zusammenfassungen. Auf einer RTX 4090 schafft es bei 4-Bit rund 196 Tokens pro Sekunde, und selbst eine bescheidene RTX 3060 12GB hält etwa 70 tok/s, also schneller als du lesen kannst; ein M-Series Max liegt bei knapp 80 tok/s. Das Kontextfenster von 32K ist bequem, aber nicht riesig, und es komplett zu füllen treibt den Gesamtspeicher auf rund 8.4 GB. Auf einer knappen 8-GB-Karte hältst du den Arbeitskontext also besser moderat, statt das ganze Fenster vollzupacken.

Der ehrliche Vorbehalt ist das Alter: Ende 2023 veröffentlicht, hängt es bei anspruchsvollerem Reasoning und Instruction-Following hinter neueren kleinen Modellen zurück, und Mistral Nemo 12B kommt mit längeren, fordernderen Prompts in der Regel besser zurecht, wenn du den Speicher übrig hast. Speziell fürs Coding ist Qwen 2.5 Coder 7B bei vergleichbarer Größe meist die stärkere Wahl. Wo Mistral 7B nach wie vor punktet, sind Einfachheit und Reichweite: Es ist winzig, vollständig offen unter Apache 2.0 und hat jahrelang gewachsenes Tooling hinter dem schlichten 'mistral'-Tag in Ollama, was es zu einer verlässlichen Baseline ohne Überraschungen macht.