Kann ich Qwen 2.5 Coder 32B lokal ausführen?

Qwen 2.5 Coder 32B ist Alibabas speziell für die Programmierung entwickeltes Modell und genau das, wozu man greift, wenn man einen lokalen Assistenten will, der bei echter Programmierarbeit tatsächlich mit gehosteten Tools mithält. Mit 32,8B Parametern ist es kein nebenbei erledigter Download: Eine 4-Bit-Quantisierung landet bei rund 19,9 GB, und zum Laden brauchst du mindestens 32 GB RAM. Damit fällt eine 12 GB RTX 3060 komplett raus, dort passt es schlicht nicht hinein. Realistisch zu Hause ist es auf einer 24-GB-Karte oder einem Apple-Silicon-Mac mit reichlich Unified Memory.

Im Alltag wirkt es eher bedächtig als flott, und der Hardware-Unterschied macht sich bemerkbar. Auf einer RTX 4090 kannst du bei 4-Bit mit etwa 43 tok/s rechnen, schnell genug, dass der Code beim Lesen angenehm durchläuft. Ein M-Series Max liegt näher bei 18 tok/s, nutzbar, aber spürbar geduldigeres Arbeiten, und ein DDR5-CPU-Fallback mit rund 3 tok/s eignet sich wirklich nur für nächtliche Batch-Jobs. Die 128K Kontext sind echt nützlich, um ganze Dateien einzuspeisen, aber sie gibt es nicht umsonst: Reizt du das volle Fenster aus, treibt das den Gesamtspeicher in Richtung 51,6 GB, halte den Arbeitskontext also moderat, wenn du keinen Spielraum hast.

Gegen DeepSeek R1 32B, das mit denselben 32,8B genauso groß ist, läuft die Trennlinie über die Absicht: R1 ist ein Reasoning-Modell, das laut denkt, während Qwen 2.5 Coder bei reiner Code-Generierung und -Vervollständigung in der Regel direkter und auf den Punkt wirkt. Seine herausragende Eigenschaft ist genau dieser Programmierfokus bei einer Größe, die du noch auf einer guten GPU selbst hosten kannst. Und die Lizenz ist der einfache Teil: Apache 2.0 bedeutet, dass du es frei nutzen kannst, auch kommerziell und in der Produktion, ohne anbieterspezifische Auflagen.