Kann ich GLM-4.6V-Flash lokal ausführen?

GLM-4.6V-Flash ist ein 9B-Modell für Vision und Chat von Z.ai, gedacht für alle, die einen lokalen Assistenten wollen, der Bilder tatsächlich sehen und nicht nur Text lesen kann. Mit 4-Bit-Quantisierung belegt es etwa 5.5 GB und passt damit locker auf eine 12-GB-Karte wie die RTX 3060 sowie in den Unified Memory jedes halbwegs ordentlich ausgestatteten Apple-Silicon-Macs. Zum bequemen Laden solltest du mindestens rund 12 GB RAM einplanen. Wenn der Platz knapp ist, schrumpft ein 2-Bit-Build auf etwa 3.8 GB – das geht allerdings auf Kosten der Qualität.

Im Alltag fühlt es sich flott an. Auf einer RTX 3060 kannst du bei 4-Bit mit rund 56 tok/s rechnen, schnell genug, dass die Antworten zügiger als Lesetempo durchlaufen; eine 4090 treibt das auf etwa 157 tok/s, falls du eine hast. Ein M-Max liegt bei rund 64 tok/s, während reine CPU auf DDR5 mit etwa 9 tok/s dahinkriecht – nur etwas für Geduldige. Die 128K Kontext sind echt, aber teuer: Wird das Fenster voll gefüllt, steigt der Gesamtspeicher Richtung 23.2 GB, weit jenseits dessen, was eine 12-GB-Karte fasst. Halte den Arbeitskontext also moderat und setze eher auf Vision-Aufgaben als auf riesige Dokumente.

Im Vergleich zu seinen Geschwistern ist Qwen 2.5 VL 7B auf der Vision-Seite der naheliegende Maßstab und schlägt sich insgesamt gut, während Qwen 3.5 9B meist die stärkere Wahl ist, wenn du neben Bildern auch Reasoning brauchst. Die herausragende Eigenschaft von GLM-4.6V-Flash ist, dass es ein wirklich kompaktes multimodales Modell ist, das ohne großen Aufwand auf bescheidener Hardware läuft. Die Lizenz ist MIT, das heißt du darfst es ohne Auflagen des Anbieters kommerziell und produktiv einsetzen – ein echter Vorteil gegenüber vielen Open-Weight-Veröffentlichungen.