Kann ich Qwen 3.5 27B lokal ausführen?

Qwen 3.5 27B ist das Modell, zu dem du greifst, wenn ein 8B zu dünn wirkt und du echte Hardware zur Verfügung hast. Es ist ein dichtes 27B, das Chat, Reasoning, Coding und Vision beherrscht und damit als lokales Arbeitspferd taugt statt als Assistent für nur eine Aufgabe. Der Haken ist der Speicherbedarf: in 4-Bit landet es bei rund 16,4 GB, und du brauchst mindestens 24 GB RAM, um es sauber zu laden. Das schließt eine 12-GB-Karte wie die RTX 3060 aus, auf der es schlicht nicht passt, und verweist dich auf eine 24-GB-GPU oder einen Apple-Silicon-Mac mit reichlich Unified Memory.

Auf einer RTX 4090 kannst du in 4-Bit mit rund 52 Tokens pro Sekunde rechnen, was schneller streamt, als du liest, und für interaktives Arbeiten angenehm bleibt. Auf einem M-Max pendelt es sich bei etwa 21 Tokens pro Sekunde ein, weiterhin gut für Chat und Coding, aber langsamer bei langen Generierungen; reine CPU auf DDR5 fällt auf grob 3 Tokens pro Sekunde, was klar Geduldssache ist. Die 256K Kontext sind die Schlagzeile, aber behandle sie als Obergrenze: bei 128K klettert der Gesamtspeicher auf etwa 45,4 GB, halte den Arbeitskontext auf einer 24-GB-Karte also deutlich unter dem Maximum.

Der naheliegende Vergleich ist Gemma 3 27B, das andere offene 27B mit Vision in dieser Größenklasse. Gemma ist tendenziell die sichere Wahl, wenn es dir vor allem um ausgefeilten Chat und Bildverständnis geht, während Qwen 3.5 27B im Allgemeinen bei Coding und strukturiertem Reasoning stärker auftritt, und genau dort liegt sein herausragender Wert für Entwickler. Der große praktische Pluspunkt ist die Lizenz: es kommt unter Apache 2.0, du kannst es also kommerziell und in der Produktion einsetzen, ohne anbieterspezifische Auflagen, anders als die Bedingungen der offenen Gewichte von Gemma.