Kann ich Qwen 3 8B lokal ausführen?

Zu Qwen 3 8B greifst du, wenn du einen lokalen Assistenten willst, der wirklich ein wenig denken kann und nicht nur plaudert. In 4-Bit liegt es bei rund 5 GB, passt also auf eine 8-GB-GPU, und der Mindestwert von 8 GB RAM bedeutet, dass ein einfacher Apple-Silicon-Mac oder ein bescheidener Desktop es problemlos betreiben kann. Das herausragende Merkmal ist der hybride Denkmodus: Das Modell kann zusätzliche Tokens aufwenden, um ein Problem vor der Antwort durchzudenken. Genau deshalb wählen Leute es gegenüber reinen Chat-Modellen derselben 8B-Klasse.

Im Alltag fühlt es sich flott an. Auf einer RTX 3060 12GB bekommst du etwa 62 Tokens pro Sekunde, auf einem M-series Max rund 70, und eine RTX 4090 treibt es auf etwa 172 tok/s, allesamt schnell genug, dass die Antworten deinem Lesetempo davonlaufen. Nur auf der CPU mit DDR5 fällt es auf etwa 10 tok/s, in Ordnung für Batch-Arbeit, aber nicht interaktiv. Der 128K-Kontext ist echt, aber Vorsicht: Füllst du ihn komplett, steigt der Gesamtspeicher auf etwa 22 GB, weit über das, was eine 8-GB-Karte fasst. Halte den genutzten Kontext also moderat, sofern du keinen Spielraum hast oder auf das 3.4 GB große q2-Build ausweichst.

Gegenüber Granite 3.3 8B, einem offenen Modell ähnlicher Größe, das vor allem auf Chat ausgelegt ist, hat Qwen 3 8B beim mehrstufigen Schlussfolgern und in Mathematik dank seines Denkmodus meist die Nase vorn, während sich Granite eher gesprächiger anfühlt. Sein herausragendes Merkmal ist dieser Reasoning-Schalter in einem so kleinen Paket. Und die Lizenz ist der einfache Teil: Apache 2.0 heißt, du darfst es kommerziell und in der Produktion einsetzen, ohne anbieterspezifische Auflagen, was bei dieser Größe seltener ist, als es sein sollte.