Kann ich Qwen 3.5 35B-A3B lokal ausführen?

Qwen 3.5 35B-A3B ist ein Mixture-of-Experts-Modell mit einem cleveren Kniff im Kern: Von seinen 35B Parametern sind pro Token nur rund 3B aktiv. Es generiert also mit dem Tempo eines winzigen Modells, schöpft aber aus dem Wissen eines großen. Der Haken ist der Speicher. Du hältst trotzdem das komplette Modell im RAM, also plane mit dem vollen Footprint, nicht mit dem aktiven Anteil. In 4-Bit landet es bei etwa 21 GB, und du willst mindestens 32 GB Arbeitsspeicher. Eine RTX 3060 mit 12 GB reicht nicht, realistisch brauchst du also eine 24-GB-GPU oder einen Apple-Silicon-Rechner mit viel Speicher.

Sobald es passt, zahlt sich das MoE-Design aus und das Modell fühlt sich flott an für seine Gewichtsklasse. Auf einer RTX 4090 sind rund 471 Tokens pro Sekunde drin, auf einem Apple M Max etwa 192 – beides schnell genug, dass die Antwort schneller kommt, als du lesen kannst. Eine CPU auf DDR5 schafft etwa 28 Tokens pro Sekunde, langsam, aber für Batch-Verarbeitung brauchbar. Es beherrscht Chat, Reasoning, Coding und Vision, mit einem großzügigen Kontextfenster von 256K. Geh mit dieser Obergrenze aber bewusst um: Bei 128K Kontext klettert der Gesamtspeicherbedarf auf rund 53,8 GB, lange Kontext-Sessions brauchen also wirklich eine große Maschine, nicht nur genug, um die Gewichte zu laden.

Gegen Command R 35B, ein gleich großes Dense-Modell, das sich zum Vergleich anbietet, liegt der echte Unterschied in der MoE-Architektur statt in der Parameterzahl: gleiche nominale Größe, aber Qwen läuft pro Token meist deutlich schneller, weil nur 3B aktiv sind. Dieses Verhältnis von Tempo zu Leistung ist sein herausstechendes Merkmal – nahezu sofortige Generierung aus einem Modell mit dem Wissen von 35B, dazu die multimodale Vision-Unterstützung. Die kleineren Qwen 3 0.6B und 1.7B sind die richtige Wahl, wenn du speicherbeschränkt bist und nur einfachen Chat brauchst. Die Lizenz ist der einfache Teil: Apache 2.0 heißt, du kannst es frei nutzen, auch kommerziell und in Produktion, ohne anbieterspezifische Klauseln zum Nachlesen.