Kann ich Qwen 3.6 35B-A3B lokal ausführen?

Qwen 3.6 35B-A3B ist ein Mixture-of-Experts-Modell, und genau das beschreibt, für wen es gedacht ist. Es bringt 35B Parameter insgesamt mit, aktiviert pro Token aber nur 3B – es läuft also mit dem Tempo eines winzigen Modells, braucht aber den Speicher eines großen. Bei 4-Bit-Quantisierung liegen die Gewichte bei rund 21.2 GB, dennoch benötigt das Modell mindestens etwa 32 GB RAM, um alle Experten vorzuhalten. Damit fällt eine 12-GB-Karte wie die RTX 3060 raus – dort passt es schlicht nicht. Das natürliche Zuhause sind eine 24-GB-RTX 4090 oder ein Apple-Silicon-Mac mit reichlich Unified Memory.

Im Alltag zahlt sich die Rechnung mit nur 3B aktiven Parametern aus: Auf einer 4090 sind rund 471 Tokens pro Sekunde drin, auf einem M-Max etwa 192 – schneller als die meisten dichten Modelle mit einem Drittel dieser Größe. Selbst die CPU-Inferenz auf DDR5 schafft noch etwa 28 tok/s, brauchbar für Batch-Aufgaben. Es deckt Chat, Reasoning, Coding und Vision ab und rechtfertigt damit seinen Platz als einziges lokales Allround-Modell. Das 256K-Kontextfenster ist großzügig, doch der Speicher ist der Haken: Schon 128K zu füllen treibt den Gesamtbedarf auf rund 53.8 GB – Long-Context-Arbeit will also eine 64-GB-Maschine, keine 24-GB-Karte.

Gegenüber dem dichten Command R 35B aus der verwandten Reihe wirkt dieses MoE bei gleicher nomineller Größe in der Regel deutlich schneller, denn du zahlst zwar für 35B an Speicher, rechnest aber wie mit 3B. Der Kompromiss ist der typische MoE-Handel: Ein dichtes 35B kann beim schwierigsten Single-Shot-Reasoning manchmal die Nase vorn haben, doch für die meiste Arbeit gewinnt das Tempo. Seine Stärke ist genau dieses Verhältnis von Geschwindigkeit zu Fähigkeit, kombiniert mit nativer Vision in einem Paket. Die Lizenz ist Apache 2.0 – du darfst es also frei kommerziell und in Produktion einsetzen, ohne Auflagen seitens des Anbieters.