Kann ich Gemma 4 E4B lokal ausführen?

Gemma 4 E4B ist Googles kleines Mixture-of-Experts-Modell und eine gute Wahl, wenn du einen lokalen Assistenten willst, der zusätzlich Bilder liest. Der Clou bei einem MoE: Pro Token feuern nur rund 4.5B der 8B Parameter, sodass es mit dem Tempo eines deutlich kleineren Modells läuft, du aber trotzdem Platz für das komplette Modell im Speicher brauchst. In 4-Bit landet es bei etwa 4.9 GB und passt damit locker auf eine 12-GB-Karte wie die RTX 3060 und fügt sich ebenso problemlos in den Unified Memory eines 8-GB-Macs mit Apple Silicon ein. Plane den vollen Speicherbedarf ein, nicht nur den aktiven Anteil.

Im Alltag fühlt es sich flott an. Auf einer RTX 3060 kannst du in 4-Bit mit rund 112 Tokens pro Sekunde rechnen, und eine High-End-Karte wie die RTX 4090 drückt das auf über 300 tok/s, schneller als du je lesen kannst. Auf Apple Silicon liegt ein M-Max bei etwa 128 tok/s, und selbst die CPU auf DDR5 schafft grob 19 tok/s, wenn du etwas Geduld mitbringst. Das 128K-Kontextfenster ist real, aber teuer: Füllst du es ganz, klettert der Gesamtspeicher auf etwa 21.7 GB, also weit über das, was die Gewichte allein vermuten lassen. Halte den Arbeitskontext auf kleinerer Hardware bei ein paar Tausend Tokens, dann bleibst du im grünen Bereich.

Gegenüber Gemma 3 4B, dem leichteren Geschwistermodell der Familie, liefert E4B in der Regel die bessere Ausgabe bei ähnlich kleinem aktivem Footprint, und beide beherrschen Vision. Damit ist es die bessere Standardwahl, sofern dir nicht wirklich der Speicher ausgeht. Seine herausragende Eigenschaft ist genau diese MoE-Balance aus Tempo und Qualität: Chat und Bildverständnis bei der Latenz eines kleinen Modells. Und die Lizenz ist der einfache Teil. Apache 2.0 bedeutet, dass du es frei nutzen kannst, auch kommerziell und im Produktivbetrieb, ohne anbieterspezifische Auflagen. Das macht es zu einem der unkomplizierteren lokalen Modelle, um damit tatsächlich etwas auszuliefern.