Kann ich Gemma 3 4B lokal ausführen?

Gemma 3 4B ist Googles kleines Arbeitstier für alle, die einen leistungsfähigen lokalen Assistenten wollen, der zusätzlich Bilder versteht. Mit 4.3B Parametern liefert das Modell mehr, als man von einem 4B-Modell erwartet, und der Speicherbedarf ist winzig: Ein 4-Bit-Quant belegt rund 2.6 GB, und du brauchst nur etwa 6 GB RAM, um es auszuführen. Damit läuft es praktisch auf allem, was einen Puls hat: einer alten Laptop-GPU mit 8 GB, einem Apple-Silicon-Mac in der Basisvariante, sogar einer RTX 3060 mit 12 GB samt Luft nach oben. Wer Vision plus Chat ohne dicke Maschine sucht, hat hier den naheliegenden Einstiegspunkt.

Im Alltag fühlt es sich flott an. Auf einer RTX 3060 sind bei 4-Bit rund 117 Token pro Sekunde drin, auf einer RTX 4090 klettert das auf etwa 329 tok/s, sodass Antworten auf beiden Karten schneller streamen, als du lesen kannst. Ein Apple M Max liegt bei etwa 134 tok/s, und selbst reine CPU auf DDR5 schafft rund 20, was für kurze Prompts brauchbar ist. Das 128K-Kontextfenster ist echt, aber teuer: Füllst du es komplett, steigt der Gesamtspeicher auf etwa 15.3 GB. Halte auf einer kleinen GPU deinen Arbeitskontext daher bei ein paar Tausend Token oder greife zu einem kleineren Quant.

Gegen Qwen 3 4B ist der ehrliche Kompromiss klar: Qwen 3 hat bei Reasoning sowie strukturierten, mehrstufigen Aufgaben in der Regel die Nase vorn, während die Stärke von Gemma 3 4B bei Vision liegt. Nur wenige Modelle dieser Größe lesen Bilder wirklich, und genau das macht es zur ersten Wahl, wenn du auf bescheidener Hardware ein lokales multimodales Modell brauchst. Wird es dir zu klein, ist Gemma 3 12B der natürliche Schritt nach oben in derselben Familie. Ein Vorbehalt: Die Gemma-Lizenz ist Open-Weight, nicht Open-Source, und enthält Googles eigene Nutzungsbedingungen. Lies sie also, bevor du das Modell in einem Produkt auslieferst.