Kann ich QwQ 32B lokal ausführen?

QwQ 32B ist Alibabas Reasoning-Spezialist, kein allgemeines Chat-Modell – und genau diese Einordnung sollte man kennen, bevor man etwas herunterlädt. Es ist ein dichtes Modell mit 32,8 Mrd. Parametern, das vor der Antwort in langen Gedankenketten laut mitdenkt. Das macht es stark bei Mathe und mehrstufigen Aufgaben, aber langsam und geschwätzig bei kurzen Fragen. In 4-Bit-Quantisierung landet es bei rund 19,9 GB, also passt es schlicht nicht in die 12 GB der RTX 3060. Realistisch brauchst du 32 GB System- oder Unified-Memory, um es überhaupt zu betreiben – das bedeutet Workstation, 24-GB-GPU oder höherwertiges Apple Silicon statt einer typischen Gaming-Karte.

Im Alltag wirkt es bedacht statt flott. Auf einer RTX 4090 kannst du in 4-Bit mit etwa 43 Tokens pro Sekunde rechnen – das klingt ordentlich, bis man bedenkt, dass dieses Modell die meisten dieser Tokens für das Reasoning verbraucht, bevor es zur Antwort kommt. Ein einzelner schwieriger Prompt kann also eine Weile laufen. Auf einem Apple M Max sinkt es auf rund 18 Tokens pro Sekunde, und auf einer DDR5-CPU kriecht es bei knapp 3 Tokens pro Sekunde. Die 128K Kontext sind echt, doch wenn du sie ausreizt, treibt das den Gesamtspeicher auf etwa 51,6 GB – deutlich über der 32-GB-Untergrenze. Halte den Arbeitskontext also moderat, sofern du keinen Spielraum hast.

Gegenüber DeepSeek R1 32B, dem anderen dichten 32B-Reasoner hier, liegen beide bei Speicherbedarf und Ausrichtung nah beieinander, und welches gewinnt, hängt eher von der konkreten Aufgabe ab als von einem klaren Vorsprung – ein Vergleich beider lohnt sich. Wenn du nur ein paar Gigabyte hast, sind die winzigen Chat-Modelle Qwen 3 0.6B oder 1.7B ein völlig anderes Werkzeug: gut für schnelle Antworten, aber nicht für das tiefe Reasoning, für das QwQ gebaut ist. QwQs herausragende Stärke ist Reasoning auf Frontier-Niveau, Schritt für Schritt, in einer Größe, die du selbst hosten kannst – und da es unter Apache 2.0 steht, ist es ohne Lizenzauflagen frei kommerziell nutzbar.