Kann ich Qwen 3 1.7B lokal ausführen?

Qwen 3 1.7B ist ein winziges Chat-Modell für alle, die einen lokalen Assistenten wollen, der sofort lädt und die Hardware kaum belastet. Mit 4-Bit-Quantisierung belegt es nur etwa 1 GB auf der Festplatte, und das Ganze läuft in rund 3 GB RAM – es passt also auf so gut wie alles: ein altes Notebook, ein Board der Raspberry-Pi-Klasse, ein Smartphone oder eine schwache GPU, die man längst vergessen hat. Zu diesem Modell greift man, wenn man keine dedizierte Grafikkarte hat oder etwas im Hintergrund laufen lassen will, ohne sich überhaupt Gedanken über den Speicher zu machen.

Auf einer echten GPU ist es geradezu absurd schnell. Eine RTX 3060 schafft rund 297 Token pro Sekunde und eine 4090 überschreitet 831, während ein Apple-Silicon-M-Max bei etwa 338 liegt. Selbst reine CPU-Ausführung auf DDR5 erreicht noch rund 49 Token pro Sekunde – schneller, als man liest. Das Kontextfenster beträgt 32K, und anders als bei den Schwergewichten kann man es hier ohne größere Schmerzen tatsächlich ausreizen: Bei vollem 32K-Kontext liegt der Gesamtbedarf bei nur rund 3,1 GB, sodass auch eine bescheidene Maschine ein langes Gespräch bequem im Speicher hält.

Zeit für Ehrlichkeit: Mit 1.7B Parametern ist das ein Chat-Modell, keine Reasoning-Engine. Kurze Fragen und Antworten, Umformulierungen und einfaches Tool-Calling erledigt es problemlos, aber bei mehrstufiger Logik oder allem, was echte Planung erfordert, wird es brüchig. Wenn der Speicher reicht, schlussfolgert Qwen 3 4B in der Regel spürbar besser; wenn es noch enger ist, ist Qwen 3 0.6B der leichtere Schritt nach unten, während SmolLM2 1.7B ein gleich großer Konkurrent ist, den man abwägen sollte. Seine herausragende Stärke ist das Verhältnis von Geschwindigkeit zu Größe, und da es unter Apache 2.0 steht, kannst du es kommerziell und in der Produktion ohne Lizenzsorgen einsetzen.