Kann ich Qwen 2.5 VL 7B lokal ausführen?

Qwen 2.5 VL 7B ist Alibabas Vision-Language-Modell, und genau das ist der entscheidende Punkt: Neben dem Chat liest es Bilder, Screenshots, Diagramme und Dokumente. Es ist also das Modell der Wahl, wenn dein Prompt nicht nur Text, sondern auch ein Bild enthält. Mit 8,3B Parametern bleibt es kompakt. Eine 4-Bit-Quantisierung landet bei rund 5 GB, passt damit auf eine 8-GB-GPU und liegt auf jedem Apple-Silicon-Mac bequem im Unified Memory. Die Mindestangabe von 8 GB RAM ist für die Gewichte realistisch, auch wenn Vision-Aufgaben und längerer Kontext den Bedarf in der Praxis nach oben treiben.

Im Alltag wirkt es flott für seine Klasse. Auf einer RTX 3060 12GB kannst du bei 4-Bit etwa 61 Tokens pro Sekunde erwarten, eine RTX 4090 hebt das auf rund 170 tok/s, schnell genug, dass die Antworten schneller als die Lesegeschwindigkeit durchlaufen. Ein M-series Max liegt bei knapp 69 tok/s, während reiner CPU-Betrieb auf DDR5 auf etwa 10 tok/s einbricht. Die 128K Kontext sind echt, aber sie sind eine Obergrenze, keine Reiseflughöhe: Sie auszufüllen treibt den Gesamtspeicher auf rund 22 GB, weit jenseits einer 8-GB-Karte. Halte den Arbeitskontext also moderat, sofern du nicht genug Reserven hast.

Für reinen Text-Chat ist ein dediziertes Textmodell wie Granite 3.3 8B bei ähnlicher Größe meist die sauberere Wahl, weil es genau dafür gebaut ist und sich den Vision-Overhead spart. Die herausragende Eigenschaft von Qwen 2.5 VL 7B ist genau dieser Overhead, der sich auszahlt: natives Bildverständnis in einem Modell, das klein genug zum Selbst-Hosten ist, was die winzigen Qwen 3 0.6B und 1.7B nicht leisten können. Es kommt unter Apache 2.0, du kannst es also kommerziell und produktiv ohne Lizenzsorgen nutzen, was bei leistungsfähigen multimodalen Gewichten selten ist.