Kann ich Qwen3-VL 30B-A3B lokal ausführen?

Qwen3-VL 30B-A3B ist Alibabas Mixture-of-Experts-Vision-Modell, und der entscheidende Kniff steckt schon im Namen: 30B Parameter insgesamt, aber nur 3B aktiv pro Token. Dadurch läuft es so schnell wie ein winziges Modell, braucht aber trotzdem Speicher für das gesamte Gewicht. Mit 4-Bit-Quantisierung liegt es bei rund 18.2 GB, und du solltest mindestens 32 GB RAM einplanen, damit es bequem hineinpasst. Auf eine 12-GB-Karte wie die RTX 3060 passt es nicht, doch ein Apple-Silicon-Rechner mit reichlich Unified Memory oder eine 24-GB-GPU sind sein natürliches Zuhause. Es ist für alle gemacht, die Bildverständnis plus Chat und Reasoning lokal wollen.

Im Alltag zahlt sich das 3B-aktive Design aus: Auf einer RTX 4090 sind rund 471 Tokens pro Sekunde drin, und selbst ein Apple M Max bleibt mit etwa 192 tok/s flott, schnell genug, dass sich Vision-Antworten sofort anfühlen. Auf einer CPU mit DDR5 fällt es auf etwa 28 tok/s, brauchbar, aber nicht mehr flüssig. Das 256K-Kontextfenster ist die Marketing-Obergrenze, kein Geschenk. Es zu füllen ist teuer: Bei 128K Kontext klettern Modell plus Cache auf insgesamt rund 48.6 GB, plane deinen Speicher also nach dem Kontext, den du tatsächlich nutzt, und nicht nach dem Maximum auf dem Datenblatt.

Gegen Gemma 4 31B, das hier am ehesten verwandte Modell, liegen beide bei der Größe in ähnlichem Terrain, aber Gemma 4 ist ein dichtes 30.7B-Modell, das jeden Parameter aktiviert, weshalb sich Qwen3-VL gemessen an seinem Speicherbedarf in der Regel schneller anfühlt, während Gemma beim reinen Reasoning und Coding tendenziell stabiler ist. Das herausragende Merkmal von Qwen3-VL ist diese Vision-Fähigkeit, gebündelt in einem Modell, das auf Consumer-Hardware so schnell arbeitet, was lokal nach wie vor selten ist. Es trägt eine Apache 2.0-Lizenz, du kannst es also kommerziell und produktiv einsetzen, ohne anbieterspezifische Einschränkungen. Hol es dir mit dem Ollama-Tag qwen3-vl:30b und leg los.