Kann ich Qwen 3 32B lokal ausführen?

Qwen 3 32B ist das Modell, zu dem man greift, wenn ein 8B-Modell an den kniffligen Stellen immer wieder strauchelt und genug Speicher vorhanden ist. Es handelt sich um ein dichtes Modell mit 32,8 Mrd. Parametern, gebaut für Chat und Reasoning, das in 4-Bit-Quantisierung rund 19,9 GB wiegt. Damit liegt es außer Reichweite für eine 12-GB-Karte wie die RTX 3060, auf der es schlicht nicht passt, und es verlangt mindestens 32 GB Arbeitsspeicher. Realistische Plätze dafür sind eine 24-GB-GPU wie die RTX 4090 oder ein Apple-Silicon-Mac mit reichlich Unified Memory. Das ist kein Modell für unterwegs auf dem Laptop, sondern ein Workstation-Modell.

Im Alltag wirkt es bedächtig statt flott. Auf einer RTX 4090 kannst du in 4-Bit mit etwa 43 tok/s rechnen, bequem schneller als Lesetempo, während sich ein M-Max eher bei 18 tok/s einpendelt und reine CPU auf DDR5 mit rund 3 tok/s dahinkriecht, brauchbar für Batch-Jobs, aber quälend für Live-Chat. Die 128K-Kontextlänge ist für lange Reasoning-Ketten wirklich nützlich, aber behandle sie mit Respekt: Sie voll auszunutzen treibt den Gesamtspeicher auf etwa 51,6 GB, was über eine einzelne 24-GB-Karte hinausgeht. Halte den Arbeitskontext maßvoll, sofern du nicht den Spielraum hast, ihn abzudecken.

Gegenüber der anderen 32B-Reasoning-Option, DeepSeek R1 32B, geht es vor allem um die Wesensart: R1 neigt stärker zur expliziten Chain-of-Thought, während sich Qwen 3 32B insgesamt ausgewogener anfühlt, als Allzweck-Assistent, der bei Bedarf trotzdem reasonen kann. Sein herausragendes Merkmal ist diese Kombination aus breiter Leistungsfähigkeit und einer sauberen Apache-2.0-Lizenz, sodass du es kommerziell und in Produktion ohne rechtliche Reibung einsetzen kannst. Wenn du den kleineren Qwen-3-Chatmodellen 0.6B und 1.7B entwachsen bist und echtes Reasoning-Gewicht willst, das dir voll gehört, ist dies der Schritt nach oben, vorausgesetzt deine Hardware kann es tragen.