Kann ich Gemma 3 1B lokal ausführen?

Gemma 3 1B ist ein winziges Chat-Modell von Google, gemacht für die Fälle, in denen du einen lokalen Assistenten brauchst, der sofort lädt und praktisch überall läuft. Mit 4-Bit-Quantisierung sind es nur etwa 0,6 GB, und selbst ein 8-Bit-Build liegt bei rund 1,1 GB, sodass es mit reichlich Spielraum in 3 GB RAM passt. Das heißt: Es läuft auf einem alten Laptop, einem Gerät der Raspberry-Pi-Klasse oder einem Smartphone-Chip, ganz ohne dedizierte GPU. Wenn du etwas für schnellen Chat, Textentwürfe oder die Einbettung in eine App suchst, bei der jedes Megabyte zählt, ist das genau das richtige Modell.

Im Alltag ist das Aushängeschild die schiere Geschwindigkeit. Auf einer RTX 4090 schafft es rund 1413 Tokens pro Sekunde, und eine typischere RTX 3060 kommt immer noch auf etwa 505 tok/s, eine Apple M Max auf rund 575 tok/s. Selbst reine CPU auf DDR5 erreicht ungefähr 84 tok/s – schneller, als du lesen kannst. Das Kontextfenster umfasst 32K, und anders als bei größeren Modellen kannst du einen guten Teil davon günstig füllen: Bei den vollen 32K liegt das Ganze bei etwa 2,2 GB insgesamt, der Speicher ist hier also nie der limitierende Faktor.

Ehrlichkeit zur Größe ist wichtig: Mit 1B Parametern ist das kein Reasoning- oder Coding-Modell, und bei langen, mehrstufigen Anweisungen verliert es den roten Faden. Wenn du den Spielraum hast, kommt Gemma 3 4B in der Regel besser mit schwierigeren Prompts zurecht und bringt zusätzlich Vision mit, während Llama 3.2 1B die naheliegende Alternative gleicher Gewichtsklasse für reinen Chat ist, gegen die man vergleicht. Die herausragende Eigenschaft von Gemma 3 1B ist, dass es ungefähr das kleinste wirklich brauchbare Chat-Modell ist, das du betreiben kannst. Ein Vorbehalt: Es wird unter Googles Gemma-Lizenz ausgeliefert, die zwar Open-Weight ist, aber anbieterspezifische Bedingungen enthält – lies sie also, bevor du es kommerziell einsetzt.