Kann ich Qwen3-Next 80B-A3B lokal ausführen?

Qwen3-Next 80B-A3B ist ein Mixture-of-Experts-Modell von Alibaba, und die plakative Zahl täuscht auf nützliche Weise: Es hat insgesamt 80B Parameter, aber pro Token werden nur rund 3B davon aktiviert. Dadurch generiert es so schnell wie ein winziges Modell und greift trotzdem auf das Wissen eines großen zurück. Der Haken ist der Speicher. Du musst das komplette Modell weiterhin im RAM oder VRAM halten, also brauchst du selbst mit einem 4-Bit-Quant von etwa 48.5 GB mindestens 64 GB, um es zu betreiben. Das schließt einzelne Consumer-GPUs aus und verweist dich stattdessen auf eine Maschine mit viel Speicher.

In der Praxis ist das ein Modell für Apple Silicon oder Workstations, nicht für Gaming-GPUs. Auf einem M Max mit genügend Unified Memory streamt es mit ungefähr 192 tok/s, was für ein Modell der 80B-Klasse wirklich flott ist und der Hauptgrund, warum man danach greift. Eine RTX 3060 mit 12 GB oder eine RTX 4090 mit 24 GB kann es schlicht nicht laden. Auf einer CPU mit DDR5 läuft es noch mit etwa 28 tok/s – langsamer, aber für Batch-Jobs brauchbar. Die 256K Kontext sind real, aber speicherhungrig: Wer Richtung 128K geht, kann den Gesamtspeicher auf rund 95.8 GB treiben, also plane Reserven ein, bevor du ihn füllst.

Im Vergleich zu Llama 3.1 70B, dem naheliegenden dichten Gegenstück, wirkt Qwen3-Next für seine Größe deutlich schneller, weil pro Schritt nur 3B Parameter aktiv sind, während Llama alle 70B durchrechnen muss. Bei Chat und Reasoning ist die Qualität konkurrenzfähig, auch wenn dichte 70B-Modelle bei den härtesten mehrschrittigen Prompts noch die Nase vorn haben können. Sein herausragendes Merkmal ist dieses Verhältnis von Geschwindigkeit zu Größe: die Breite eines großen Modells bei der Latenz eines kleinen, sofern du den Speicher zum Hosten hast. Die Lizenz ist Apache 2.0, du darfst es also frei kommerziell und in der Produktion einsetzen, ohne anbieterspezifische Auflagen.