Kann ich Qwen 3.6 27B lokal ausführen?

Qwen 3.6 27B ist Alibabas mittelgroßes Arbeitstier für alle, die ein einziges leistungsfähiges lokales Modell wollen, das Chat, Reasoning, Coding und Bilder abdeckt, ohne in die Cloud zu greifen. Es ist ein dichtes 27B-Modell, also läuft jeder Parameter bei jedem Token mit, und das schlägt sich im Speicherbedarf nieder: Eine 4-Bit-Quantisierung liegt bei rund 16.4 GB, und du brauchst etwa 24 GB RAM, um es überhaupt zu laden. Damit ist es für eine 12-GB-Karte wie die RTX 3060 außer Reichweite, dort passt es schlicht nicht hinein, und es bewegt sich klar im Bereich einer 24-GB-RTX-4090 oder eines Apple-Silicon-Macs mit mehr Speicher.

Auf einer 4090 kannst du bei 4-Bit mit grob 52 Tokens pro Sekunde rechnen, was schneller streamt als du liest und sich für einen interaktiven Assistenten wirklich reaktionsschnell anfühlt. Auf einem M-Series Max pendelt es sich bei rund 21 tok/s ein, immer noch angenehm für Chat und Coding. Das 256K-Kontextfenster ist die Schlagzeile, aber behandle es als Obergrenze, nicht als Standard. Der Speicher steigt steil, je weiter du es füllst: Bei 128K Kontext liegt der gesamte Arbeitsspeicherbedarf bei etwa 45.4 GB. Solange du also kein Workstation-Setup hast, halte den Alltagskontext bescheiden und reserviere das lange Fenster für die seltene Aufgabe, die es wirklich braucht.

Gegen Gemma 3 27B, die andere naheliegende 27B-Option, nehmen sich die beiden gegenseitig nichts: Gemma 3 deckt Chat und Vision ab, während Qwen 3.6 27B auf derselben vision-fähigen Basis in der Regel stärkeres Coding und Reasoning ergänzt, was es zur breiteren Wahl macht, wenn du ein Modell für alles willst. Wenn dein Speicher knapp ist, ist das deutlich kleinere Qwen 3 1.7B der realistische Rückfall, allerdings rein auf Chat beschränkt, ohne Reasoning und ohne Bildverständnis. Die herausragende Eigenschaft von Qwen 3.6 27B ist die Breite in einem einzigen dichten Modell, und es kommt unter Apache 2.0, du kannst es also kommerziell und in Produktion einsetzen, ohne Lizenzsorgen.