Kann ich Qwen 3.5 4B lokal ausführen?

Qwen 3.5 4B ist ein kleines, dichtes Modell für alle, die einen leistungsfähigen lokalen Assistenten wollen, der die Hardware kaum belastet. Mit 4-Bit-Quantisierung liegt es bei rund 2.4 GB, passt damit mit reichlich Reserve in nahezu jede moderne GPU, läuft auf einem Apple-Silicon-Mac bequem im Unified Memory, und dank der nur 6 GB Mindest-RAM kann sogar ein älteres Notebook es betreiben. Es beherrscht außerdem Vision, nicht nur Chat – ungewöhnlich für diese Größe. Die Apache 2.0-Lizenz bedeutet: kommerzieller und produktiver Einsatz ohne jegliche Auflagen.

Im Alltag ist es flott. Auf einer RTX 4090 erreichst du rund 353 Tokens pro Sekunde, und eine Mittelklasse-RTX 3060 schafft immer noch etwa 126 tok/s – beide deutlich schneller, als du lesen kannst. Ein M-Series Max liegt bei etwa 144 tok/s, und selbst reine CPU auf DDR5 bringt es mit etwas Geduld auf rund 21 tok/s. Das 256K-Kontextfenster ist großzügig, sollte aber als Reserve verstanden werden, nicht als Standard. Der Speicherbedarf steigt steil mit der Auslastung: bei 128K Kontext erreicht der Gesamtbedarf etwa 14.7 GB, was die meisten Consumer-Karten überläuft – halte den Arbeitskontext also moderat, sofern du nicht Speicher im Überfluss hast.

Innerhalb der eigenen Familie liegt es klar über den winzigen Qwen 3 1.7B und 0.6B, die eher für Smartphones und Embedded-Einsatz taugen als für die Rolle des Hauptassistenten. Gegenüber Phi-4 Mini 3.8B wirkt Qwen 3.5 4B insgesamt breiter aufgestellt – dank Vision-Unterstützung und längerem Kontext –, während sich Phi-4 Mini bei eng umrissenen Reasoning-Aufgaben gut behauptet. Das herausragende Merkmal ist hier das Verhältnis aus Leistung und Footprint: ein multimodales 4B, das auf bescheidener Hardware schnell läuft und unter einer vollständig permissiven Lizenz steht, ist eine seltene Kombination – und macht es zur naheliegenden Standardwahl für ein leichtgewichtiges lokales Setup.