Kann ich Gemma 3 12B lokal ausführen?

Gemma 3 12B ist Googles mittelgroßes Open-Weight-Modell und trifft genau die richtige Nische für alle, die mehr Leistung als von den üblichen 7-8B-Chatmodellen wollen, ohne gleich zu etwas greifen zu müssen, das eine Workstation voraussetzt. Mit 4-Bit-Quantisierung liegt es bei rund 7.4 GB, passt damit mit etwas Spielraum auf eine 12-GB-Karte wie die RTX 3060 und läuft auf einem Apple-Silicon-Mac mit 16 GB oder mehr bequem im Unified Memory. Die Untergrenze liegt bei 12 GB RAM, um es überhaupt zu laden. Es beherrscht außerdem Vision, du kannst ihm also Bilder zusammen mit Text geben - etwas, das die meisten Modelle dieser Größe nicht können.

Im Alltag fühlt es sich auf Consumer-Hardware reaktionsschnell an. Auf einer RTX 3060 12GB erreichst du mit 4-Bit etwa 41 tok/s, schneller als du lesen kannst, und ein Apple M Max bringt es auf rund 47 tok/s. Eine 4090 fliegt mit etwa 116 tok/s, falls du eine hast. Der Haken ist das 128K-Kontextfenster: Es ist tatsächlich vorhanden, aber es zu füllen ist teuer. Bei vollen 128K brauchen Modell plus KV-Cache insgesamt rund 27.7 GB, weit mehr als eine 12-GB-Karte fasst. Halte den Arbeitskontext also moderat, sofern du keine 24-GB-GPU oder reichlich Unified Memory hast.

Gegenüber Mistral Nemo 12B, der naheliegenden Alternative gleicher Größe, hat Gemma 3 12B in der Regel die Nase vorn bei Instruction-Following und multimodalen Aufgaben, da Nemo reines Text-Modell ist - wobei Nemo bei reinem Long-Context-Chat tendenziell die leichtere Wahl bleibt. Wenn du kleiner bleiben willst, reduziert Gemma 3 4B den Footprint und behält dabei Vision. Die Stärke von Gemma 3 12B ist, ein leistungsfähiges Vision-und-Chat-Modell zu sein, das immer noch auf einer einzelnen Mittelklasse-GPU läuft. Eine Einschränkung: Es kommt unter Googles Gemma-Lizenz, die zwar Open-Weight ist, aber anbieterspezifische Bedingungen enthält. Lies sie vor jedem kommerziellen Einsatz durch, statt anzunehmen, es sei schlicht Open Source.