Kann ich Qwen3-VL 8B lokal ausführen?

Qwen3-VL 8B ist Alibabas bildfähiges Modell in der 8B-Klasse und damit die erste Wahl, wenn du einen lokalen Assistenten willst, der Bilder und Screenshots wirklich ansehen kann und nicht nur Text liest. Mit 4-Bit-Quantisierung landet es bei rund 4,9 GB, passt also mit Reserve auf eine 12-GB-Karte wie eine RTX 3060 und liegt auf jedem Apple-Silicon-Mac bequem im Unified Memory. Der sinnvolle Mindestbedarf liegt bei etwa 8 GB RAM; wenn es eng wird, kannst du auf einen 2-Bit-Build mit ungefähr 3,4 GB ausweichen, während das schwerere q8 bei knapp 8,5 GB liegt.

Im täglichen Einsatz fühlt es sich für ein 8B-Modell flott an. Auf einer RTX 3060 sind bei 4-Bit rund 63 tok/s zu erwarten, ein M-Max schiebt das auf etwa 72 – beides schnell genug, dass die Antworten zügiger streamen, als du lesen kannst; eine 4090 zieht mit rund 177 tok/s davon. Die Schlagzeile ist das 256K-Kontextfenster, doch behandle es als Obergrenze, nicht als Standard. Bei 128K Kontext brauchen Modell plus KV-Cache bereits rund 21,7 GB insgesamt – deutlich mehr, als eine einzelne Mittelklasse-Karte fasst. Halte den Arbeitskontext also moderat, sofern du keine große GPU hast.

Gegenüber Llama 3.1 8B, dem naheliegenden Vergleich derselben Größe, ist Qwen3-VLs Stärke genau das, was Llama schlicht nicht kann: Es liest Bilder. Bei reinem Text-Chat liegen beide nah genug beieinander, dass die Wahl darauf hinausläuft, ob du Vision brauchst. Fütterst du es nur mit Text, hat Llama weiterhin das ausgereiftere Tooling-Ökosystem; willst du Screenshots beschreiben oder Text aus einem Foto lokal extrahieren, ist dies das bessere Werkzeug. Es wird unter Apache 2.0 ausgeliefert, du kannst es also kommerziell und im Produktivbetrieb ohne Lizenzsorgen einsetzen.