Kann ich GPT-OSS 20B lokal ausführen?

GPT-OSS 20B ist OpenAIs Open-Weight-Reasoning-Modell, und das Wichtigste vorab: Es ist ein Mixture-of-Experts. Von seinen insgesamt 20.9B Parametern werden pro Token nur 3.6B aktiviert. Dadurch läuft es deutlich schneller als ein dichtes 20B-Modell, trotzdem musst du das gesamte Modell im Speicher halten. Bei einer 4-Bit-Quantisierung landet es bei rund 12.7 GB, und die praktische Untergrenze liegt bei etwa 24 GB RAM. Auf eine 12-GB-Karte wie die RTX 3060 passt es nicht, realistisch brauchst du also eine 24-GB-GPU wie die 4090 oder einen Apple-Silicon-Mac mit reichlich Unified Memory.

Im Alltag fühlt es sich für seine Größe flott an, genau das ist der MoE-Vorteil. Auf einer RTX 4090 kannst du mit rund 393 Tokens pro Sekunde rechnen, auf einem M-Series-Max-Chip mit ungefähr 160 tok/s, beides klar über Lesegeschwindigkeit. Reines CPU-Inferencing auf DDR5 fällt auf etwa 23 tok/s ab, brauchbar für Batch-Jobs, aber nicht für interaktiven Chat. Das 128K-Kontextfenster ist großzügig, aber genau das frisst still und leise Speicher: Füllst du es voll aus, klettert der Gesamtverbrauch auf rund 38.5 GB, sobald der KV-Cache geladen ist. Halte den Arbeitskontext moderat, sofern du nicht genug Reserve hast, oder greif zum q2-Build bei rund 8.8 GB.

Es ist für Chat und Reasoning gebaut, nicht für Programmierung, daher leistet dir für Coding-Aufgaben etwas wie Codestral 22B in der Regel bessere Dienste, und Mistral Small 3.1 24B ist die Wahl, wenn du zusätzlich Vision brauchst. Seine herausragende Eigenschaft ist die Reasoning-Qualität bei nur 3.6B aktiven Parametern, und wenn du mehr Spielraum willst, skaliert das größere Geschwistermodell GPT-OSS 120B dasselbe Rezept nach oben. Die Lizenz ist Apache 2.0, das Modell ist also wirklich frei nutzbar, auch kommerziell und in der Produktion, ohne anbieterspezifische Auflagen.