Kann ich Qwen 3 4B lokal ausführen?

Qwen 3 4B ist das Modell der Wahl, wenn man echtes Reasoning aus etwas Kleinem herausholen will. Mit 4-Bit-Quantisierung landet es bei rund 2.4 GB und passt damit auf so gut wie alles: Eine 6-GB-GPU hat noch Luft, jeder Apple-Silicon-Mac verkraftet es mühelos, und selbst ein älteres Notebook mit integrierter Grafik kann es hosten. Für komfortables Arbeiten solltest du etwa 6 GB RAM einplanen. Wer nur eine reine CPU-Maschine oder ein Gerät der Raspberry-Klasse hat, findet hier eines der wenigen Modelle, das bei diesem Footprint wirklich brauchbar bleibt und nicht bloß technisch ladbar ist.

Im Alltag fühlt es sich flott an. Auf einer RTX 3060 schafft es bei 4-Bit grob 126 Tokens pro Sekunde, ein M-Max liegt bei etwa 144 tok/s, beides deutlich über Lesegeschwindigkeit, sodass Antworten bei Chat und kurzen Reasoning-Ketten praktisch sofort streamen. Eine 4090 erreicht rund 353 tok/s, falls du eine hast. Reine CPU auf DDR5 fällt auf etwa 21 Tokens pro Sekunde ab, langsam, aber für Hintergrundaufgaben tragbar. Das Kontextfenster liegt bei 32K, reichlich für die meisten Zwecke, doch füllt man es voll, steigt der Gesamtspeicher auf rund 5.5 GB, also halte den aktiven Kontext auf einer knappen 6-GB-Maschine moderat.

Innerhalb der eigenen Familie ist Qwen 3 4B der klare Schritt nach oben gegenüber Qwen 3 1.7B, sobald das kleinere Modell bei mehrstufigen Prompts ins Straucheln gerät, bleibt dabei aber weit leichter als die 7-8B-Klasse. Phi-4 Mini 3.8B ist eine vernünftige Alternative in ähnlicher Größe und liegt beim Chat meist gleichauf, doch die Stärke von Qwen 3 4B ist, dass es bei Reasoning-Aufgaben über seiner Parameterzahl boxt, gemessen daran, wie wenig der Betrieb kostet. Es kommt unter Apache 2.0, sodass du es kommerziell und in der Produktion ohne Lizenzsorgen nutzen kannst, was bei diesem Verhältnis von Qualität zu Größe selten ist.