Kann ich Qwen3 Coder Next 80B-A3B lokal ausführen?

Qwen3 Coder Next 80B-A3B ist ein Coding-Spezialist mit Mixture-of-Experts-Architektur, und genau diese Architektur ist der entscheidende Punkt. Das Modell hat 80B Parameter insgesamt, aktiviert pro Token aber nur 3B, läuft also deutlich schneller, als seine Größe vermuten lässt, braucht aber trotzdem Speicher für das vollständige Modell. In 4-Bit landet es bei rund 48.5 GB, womit jede Consumer-GPU ausscheidet: Es passt nicht auf eine 24-GB-RTX-4090, geschweige denn auf eine 12-GB-3060. Sein realistisches Zuhause ist ein Apple-Silicon-Mac mit reichlich Unified Memory oder eine Workstation mit 64 GB oder mehr System-RAM. Plane mit dem Minimum von 64 GB, nicht mit den aktiven 3B.

Im Alltag zahlt sich das MoE-Design aus. Auf einem Apple M Max liefert es etwa 192 tok/s, was sich bei Code-Vervollständigung und Refactoring praktisch sofort anfühlt, und selbst reine CPU-Inferenz auf DDR5 schafft rund 28 tok/s — langsam, aber für ein Modell dieser Größe wirklich brauchbar. Das 256K-Kontextfenster ist das Aushängeschild für die Arbeit über ganze Repositories hinweg, doch der Haken ist der Speicher: Bei 128K Kontext steigt der Gesamtbedarf auf etwa 95.8 GB. Behalte das im Hinterkopf, bevor du eine riesige Codebasis lädst, denn nicht die Gewichte, sondern der KV-Cache treibt dich auf einer 64-GB-Maschine über die Grenze.

Gegenüber den dichten Alternativen seiner Gewichtsklasse wie Llama 3.1 70B tauscht dieses Modell tendenziell rohe Breite gegen Coding-Fokus und Geschwindigkeit: Durch das MoE-Routing antwortet es schneller als ein dichtes 70B-Modell und spezialisiert sich auf Code statt auf allgemeinen Chat — wofür die kleineren Qwen 3 Chat-Varianten besser passen. Seine herausragende Eigenschaft ist dieses Verhältnis von Geschwindigkeit zu Größe: nahezu sofortige Generierung aus einem Modell der 80B-Klasse. Der praktische Bonus ist die Lizenz: Apache 2.0, sodass du es frei in kommerziellen und Produktionsprojekten einsetzen kannst, ohne dich vorher durch anbieterspezifische Einschränkungen lesen zu müssen.