Kann ich Qwen 3.5 122B-A10B lokal ausführen?

Qwen 3.5 122B-A10B ist ein großes Mixture-of-Experts-Modell für alle, die Chat, Reasoning, Coding und Vision auf Frontier-Niveau auf eigener Hardware betreiben wollen. Der MoE-Aufbau ist der entscheidende Punkt: Von den insgesamt 122B Parametern sind pro Token nur 10B aktiv, weshalb das Modell deutlich schneller generiert als ein gleich großes dichtes Modell. Der Haken ist der Speicher, denn das vollständige Modell muss trotzdem komplett im Speicher liegen. Bei 4-Bit-Quantisierung sind das rund 74 GB, und zum bloßen Laden brauchst du etwa 96 GB RAM. In der Praxis heißt das: eine Workstation mit viel Speicher oder ein Apple-Silicon-Mac mit reichlich Unified Memory. Auf eine RTX 4090 mit 24 GB passt es nicht, geschweige denn auf eine 12-GB-Karte.

Wo es passt, wirkt es für seine Größe überraschend flott – dank der 10B aktiven Parameter. Auf einem M Max kannst du mit rund 57 tok/s rechnen, schnell genug, um den Stream bequem mitzulesen, während eine reine CPU-Maschine mit DDR5 auf etwa 8 tok/s fällt und sich eher für Batch-Verarbeitung als für Live-Chat eignet. Das Kontextfenster reicht bis 256K, aber betrachte das als Obergrenze. Der Speicherbedarf wächst mit dem, was du tatsächlich füllst, und bei 128K Kontext steigt der Gesamtbedarf auf etwa 131 GB – die Long-Context-Werte setzen also eine dafür ausgelegte Maschine voraus.

Im Vergleich zu Devstral 2 123B, das bei nahezu identischer Parameterzahl liegt, tauscht Qwen 3.5 den reinen Coding-Fokus meist gegen Breite ein: Es deckt Chat, Reasoning und Vision in einem einzigen Modell ab, statt sich zu spezialisieren. Genau diese Vielseitigkeit ist seine Stärke, während die kleineren Geschwister Qwen 3 0.6B und 1.7B die vernünftige Wahl bleiben, wenn du nur leichtgewichtigen Chat auf bescheidener Hardware brauchst. Die Lizenz ist Apache 2.0, du darfst es also uneingeschränkt kommerziell und in Produktion einsetzen – das ist auf diesem Leistungsniveau selten und ein echtes Argument gegenüber stärker eingeschränkten Gewichten.