Kann ich Qwen 3 30B-A3B lokal ausführen?

Qwen 3 30B-A3B ist ein Mixture-of-Experts-Modell, und allein diese Tatsache prägt alles, wie man es einordnen sollte. Auf dem Papier hat es 30.5B Parameter, aber pro Token werden nur 3.3B davon aktiviert – es läuft also mit der Geschwindigkeit eines winzigen Modells und denkt zugleich mit der Breite eines großen. Der Haken ist der Speicher: Du musst trotzdem das ganze Modell im RAM halten. Ein 4-bit-Quant belegt rund 18.5 GB, und das Modell will mindestens 32 GB zum Atmen – das schließt eine 12-GB-Karte wie die RTX 3060 aus, passt aber bequem auf einen 32-GB-Mac mit Apple Silicon oder auf eine 24-GB-4090, wenn du den Kontext moderat hältst.

Im Alltag zahlt sich das MoE-Design auf eine Weise aus, die das Datenblatt untertreibt. Auf einer 4090 sind rund 428 Tokens pro Sekunde drin, und selbst ein M-Max bleibt mit etwa 174 tok/s flott – deutlich schneller, als ein dichtes 30B-Modell auf derselben Hardware je schaffen würde. Reiner CPU-Betrieb auf DDR5 fällt auf etwa 25 tok/s ab, brauchbar für Batch-Jobs, aber nicht für interaktiven Chat. Die 128K Kontext sind echt, aber achte auf das Budget: Sie vollständig zu füllen treibt den Gesamtspeicher auf rund 49.1 GB – auf einer 32-GB-Maschine hältst du den Arbeitskontext also moderat und setzt eher auf einen kleineren Quant, statt das volle Fenster auszureizen.

Gegen Gemma 4 31B, das mit nahezu identischen 30.7B Parametern antritt, ist der Tausch klar. Gemma ist dicht und bringt zusätzlich Coding und Vision mit, wirkt also tendenziell stärker bei multimodalen Aufgaben und strukturierter Code-Arbeit, während das spärliche Design von Qwen 3 30B-A3B es bei Chat und Reasoning in dieser Größenklasse pro Token dramatisch schneller macht. Genau dieses Tempo bei seinem Speicherbedarf ist sein herausragendes Merkmal. Zudem steht es unter Apache 2.0 – anders als anbieterspezifische Open-Weight-Bedingungen kannst du es also frei in kommerziellen und produktiven Einsatz nehmen, ohne lizenzrechtliche Sternchen.