Kann ich Qwen 3.5 9B lokal ausführen?

Qwen 3.5 9B ist Alibabas Generalist von Anfang 2026, und das Spannende daran ist: Das Modell beherrscht neben Chat und Reasoning auch Bildverarbeitung, nicht nur reinen Text. Mit 4-Bit-Quantisierung landet es bei etwa 5.5 GB, was auf einer 12-GB-GPU knapp, aber machbar ist und im Unified Memory eines Apple-Silicon-Macs bequem Platz findet. Wer es auf noch kleinere Hardware quetschen möchte, kann auf einen 2-Bit-Build von rund 3.8 GB ausweichen, zahlt das aber mit Qualitätseinbußen. Plane mit rund 12 GB System-RAM als praktischer Untergrenze.

Im Alltag fühlt es sich flott an. Auf einer RTX 3060 sind bei 4-Bit etwa 56 tok/s drin, und ein M-Max-Chip bringt es auf rund 64 tok/s - beides schneller, als du lesen kannst. Eine RTX 4090 zieht mit etwa 157 tok/s davon, falls du eine hast. Das 256K-Kontextfenster ist die Schlagzeile, aber sei realistisch beim Speicher: Schon bei 128K Kontext klettert der gesamte Bedarf auf etwa 23.2 GB und sprengt damit eine 12-GB-Karte deutlich. Halte den Arbeitskontext lieber moderat, sofern du keine 24-GB-GPU übrig hast.

Innerhalb der eigenen Familie ist die Einordnung klar: Die Modelle Qwen 3 0.6B und 1.7B sind reine Chat-Leichtgewichte für eingeschränkte Hardware, während dieses 9B das Modell ist, zu dem du greifst, wenn du Reasoning und Bildverständnis in einem Modell willst. GLM-4.6V-Flash ist die vergleichbare, ebenfalls bildfähige Alternative in derselben Größe, und beide liefern sich je nach Aufgabe ein Kopf-an-Kopf-Rennen. Die herausragende Stärke von Qwen 3.5 9B ist die Breite in einem einzigen Download, und die Apache-2.0-Lizenz bedeutet, dass du es ohne Einschränkungen kommerziell nutzen kannst.