Kann ich Qwen 3 0.6B lokal ausführen?

Qwen 3 0.6B ist ein wirklich winziges Modell, und genau das ist der Sinn. In 4-Bit belegt es rund 0,4 GB, und selbst ein q8-Build kommt auf nur 0,6 GB, sodass es mit Platz nach oben in 2 GB RAM passt. Damit läuft es praktisch überall: auf einem alten Laptop, einem Board der Raspberry-Pi-Klasse, einem Smartphone oder in einer Ecke jeder modernen GPU. Sieh es als das Modell, zu dem du greifst, wenn du lokale Textgenerierung auf Hardware willst, die eigentlich gar kein LLM betreiben sollte – nicht als Alleskönner-Assistent.

Im täglichen Einsatz ist das herausragende Merkmal die schiere Geschwindigkeit. Auf einer RTX 3060 erreicht es etwa 841 tok/s, ein M-Series Max liegt bei rund 958, und eine 4090 schafft ungefähr 2355 tok/s – weit schneller, als du lesen kannst, und schnell genug für enge Schleifen oder Batch-Jobs. Selbst auf einer CPU mit DDR5 bekommst du etwa 140 tok/s, völlig brauchbar. Das 32K-Kontextfenster ist echt, und weil das Ganze klein bleibt, braucht ein voll ausgelasteter 32K-Kontext insgesamt nur rund 1,7 GB – Druck durch den KV-Cache ist hier also selten ein Thema.

Sei ehrlich zu dir selbst beim Kompromiss: Mit 0,6B Parametern ist es ein Chat-Modell, kein Reasoner. Für alles Mehrschrittige, Strukturierte oder Code-lastige zieht Qwen 3 4B aus derselben Familie meist deutlich davon, und selbst Qwen 3 1.7B folgt Anweisungen in der Regel zuverlässiger. Gegen Gemma 3 1B ist es die leichtere, schnellere Wahl, auch wenn beide bei einfachem Chat in ähnlichem Terrain liegen. Sein echter Vorteil ist der geringe Speicherbedarf plus Tempo, und die Lizenz hilft: Apache 2.0 bedeutet, dass du es frei nutzen kannst, auch kommerziell, ohne anbieterspezifische Auflagen.