Kann ich Gemma 3 27B lokal ausführen?

Gemma 3 27B ist das Modell, zu dem man greift, wenn ein Assistent der 8B-Klasse zu dünn wirkt und genug Speicher vorhanden ist. Es ist ein 27,4B-Chat-und-Vision-Modell von Google, das also Bilder genauso liest wie Text – und genau diese Fähigkeit ist der Hauptgrund, es einem reinen Textmodell gleicher Größe vorzuziehen. Mit einer 4-Bit-Quantisierung landet es bei rund 16,6 GB, weshalb eine 12-GB-Karte wie die RTX 3060 es schlicht nicht fasst; für komfortablen Betrieb solltest du mindestens 24 GB RAM oder Unified Memory einplanen. Eine RTX 4090 mit 24 GB oder ein M-Series-Mac mit reichlich Unified Memory ist sein natürlicher Platz.

Im Alltag wirkt es als deutlich fundierterer Gesprächspartner als die kleinen Modelle, und der multimodale Aspekt macht es wirklich nützlich, um Screenshots und Fotos zu beschreiben oder darüber zu schließen. Auf einer 4090 mit 4 Bit kannst du etwa 52 Tokens pro Sekunde erwarten, also schneller, als du liest; ein M-Max-Mac liegt eher bei 21 tok/s, immer noch sehr brauchbar, während reiner CPU-Betrieb auf DDR5 auf grob 3 tok/s fällt und eigentlich nur für Batch-Jobs taugt. Die 128K-Kontextlänge ist real, aber teuer: Sie voll auszunutzen treibt den Gesamtspeicher auf rund 45,8 GB, weit über das, was ein einzelnes 24-GB-Gerät hält – halte den genutzten Kontext also moderat, sofern du keine Reserven hast.

Innerhalb der eigenen Familie ist es das Schwergewicht; Gemma 3 4B ist die leichtere Wahl, wenn der Speicher knapp ist und du trotzdem Vision willst. Spannender ist der Vergleich mit Qwen 3.5 27B, einem nahezu gleich großen Modell mit dedizierten Stärken bei Reasoning und Coding; bei strukturierten Mathe- oder Code-Aufgaben hat es gegenüber Gemma meist die Nase vorn – Gemma 3 27B greifst du also eher für soliden Chat plus Bildverständnis als für anspruchsvolles Reasoning. Seine herausragende Eigenschaft ist diese Balance aus Vision und Chat bei einer handhabbaren Single-GPU-Größe. Ein Vorbehalt: Die Gemma-Lizenz ist open-weight, nicht open-source – lies also Googles Bedingungen, bevor du es in einem kommerziellen Produkt auslieferst.