Kann ich Gemma 4 12B lokal ausführen?

Gemma 4 12B ist ein dichtes 12B-Modell mit Vision-Fähigkeit für Chat, Coding und Reasoning, gedacht für alle, die einen leistungsfähigen lokalen Assistenten wollen, der zusätzlich Bilder versteht. In 4-Bit-Quantisierung landet es bei rund 7.3 GB und passt damit auf eine 12-GB-Karte wie die RTX 3060, mit etwas Luft für Kontext, und liegt bequem im Unified Memory eines Apple-Silicon-Mac. Zum Laden braucht das Modell mindestens etwa 12 GB RAM. Wenn es eng wird, schrumpft der 2-Bit-Build auf grob 5 GB, allerdings erkaufst du dir den Platz mit Qualitätsverlust.

Im Alltag liefert es etwa 42 tok/s auf einer RTX 3060, schnell genug zum Mitlesen, und rund 48 tok/s auf einem M-Series Max. Eine RTX 4090 schiebt es über 100. Das Kontextfenster von 256K ist großzügig, aber behandle es als Reserve, nicht als Standard. Schon bei 128K Kontext klettert das Modell samt KV-Cache auf insgesamt rund 27.4 GB, deutlich mehr als eine einzelne 12-GB-Karte fasst. Du lagerst dann in den Systemspeicher aus oder wirst spürbar langsamer. Halte den Arbeitskontext auf Consumer-Hardware bei ein paar tausend Tokens.

Gegenüber dem leichteren Gemma 3 4B schlägt sich das 12B bei mehrstufigem Reasoning und beim Coding meist besser, was der Preis für den höheren Speicherbedarf ist; Gemma 3 4B ist die Wahl, wenn du eingeschränkt bist oder nur Chat und Vision brauchst. Das Besondere hier: Vision und solides Text-Reasoning stecken in einem Modell, das immer noch auf einer Mittelklasse-GPU läuft. Auch die Lizenz ist sauber: Apache 2.0 bedeutet, du darfst es kommerziell und produktiv einsetzen, ohne anbieterspezifische Einschränkungen.