Kann ich GPT-OSS 120B lokal ausführen?

GPT-OSS 120B ist OpenAIs großes Open-Weight-Release für alle, die ein Chat- und Reasoning-Modell auf Frontier-Niveau komplett auf eigener Hardware betreiben wollen. Es ist als Mixture-of-Experts ausgelegt: Obwohl das vollständige Modell 116.8B Parameter hat, sind pro Token nur etwa 5.1B aktiv. Genau dieser Kniff hält es für seine Größe schnell – doch beim Speicher darfst du dich davon nicht täuschen lassen: Du musst trotzdem das gesamte Modell im RAM halten. Bei 4-Bit-Quantisierung sind das rund 71 GB, und für komfortablen Betrieb solltest du etwa 96 GB Arbeitsspeicher einplanen. Das ist kein Modell für eine Laptop-GPU.

In der Praxis heißt das: Eine RTX 3060 oder selbst eine 4090 reicht schlicht nicht aus. Realistisch betreiben lässt es sich also nur auf einer Apple-Silicon-Maschine mit viel Speicher oder einem CPU-System mit großem RAM. Auf einem M-Max kannst du mit rund 113 tok/s rechnen, was sich für ein Modell dieser Größe wirklich flott anfühlt. Auf CPU mit DDR5 fällst du auf etwa 16 tok/s zurück – brauchbar für Batch-Aufgaben, aber zu langsam für interaktiven Chat. Das Kontextfenster von 128K ist großzügig, doch es vollständig zu füllen treibt den Gesamtspeicher bei maximalem Kontext auf rund 127 GB. Plane also Reserve ein und betrachte diese Obergrenze nicht als deine normale Arbeitsgröße.

Im Vergleich zu seinesgleichen setzt GPT-OSS 120B stark auf Chat und Reasoning statt auf Coding oder Vision. Etwas wie Mistral Small 4 119B bietet dir daher im selben Speicherbudget meist mehr Bandbreite, wenn du Code oder Bildeingaben brauchst. Sein kleiner Ableger GPT-OSS 20B ist die Wahl, sobald 96 GB RAM nicht infrage kommen. Das herausragende Merkmal ist hier die Lizenz: Apache 2.0 bedeutet, dass du es kommerziell und produktiv einsetzen kannst, ohne Auflagen des Anbieters – das ist auf diesem Leistungsniveau selten und ein echter Grund, sich dafür zu entscheiden.