Kann ich Gemma 3n E4B lokal ausführen?

Gemma 3n E4B ist Googles kleines multimodales Modell für Chat und Vision und richtet sich gezielt an alle, die einen leistungsfähigen lokalen Assistenten wollen, der zusätzlich Bilder verarbeiten kann. Auf dem Papier hat es 7.8B Parameter, ist aber ein Mixture-of-Experts-Design: Pro Token werden nur etwa 4B aktiviert, sodass es spürbar schneller läuft, als seine Gesamtgröße vermuten lässt. In 4-Bit landet es bei rund 4.7 GB, passt damit bequem auf eine 8-GB-GPU wie eine RTX 3060 und liegt locker im Unified Memory jedes aktuellen Apple-Silicon-Macs. Der Haken bei MoE: Du musst trotzdem das gesamte Modell im Speicher halten, also plane unabhängig von der Zahl aktiver Experten mit mindestens 8 GB RAM.

Im Alltag fühlt es sich flott an. Auf einer RTX 3060 12GB sind in 4-Bit etwa 126 Tokens pro Sekunde drin, eine 4090 schiebt das auf rund 353 hoch, beides weit über Lesegeschwindigkeit; ein M-Series Max liegt bei etwa 144, und selbst reine CPU auf DDR5 schafft noch rund 21, brauchbar, wenn du es nicht eilig hast. Die Vision-Fähigkeit ist der eigentliche Grund, in dieser Größenklasse hierzu statt zu einem reinen Textmodell zu greifen. Der Kontext reicht bis 32K, komfortabel für Chat und Dokumenten-Q&A, aber kein Long-Context-Arbeitstier. Füllst du dieses Fenster, steigt der Gesamtspeicher auf rund 8.8 GB, halte den Arbeitskontext auf einer 8-GB-Karte also moderat.

Gegenüber Llama 3.1 8B, der naheliegenden reinen Textalternative in seiner Klasse, tauscht Gemma 3n E4B im Allgemeinen etwas reine Reasoning-Tiefe gegen zwei Dinge ein, die Llama bei diesem Footprint nicht bieten kann: natives Bildverständnis und den MoE-Geschwindigkeitsvorteil. Wenn du nur Text brauchst, ist Gemma 3 4B das leichtere Geschwistermodell und Llama 3.1 8B die sicherere Wahl für reinen Chat. Die Stärke von Gemma 3n E4B ist, ein wirklich nutzbares Vision-und-Chat-Modell zu sein, das noch in 8 GB passt. Ein Hinweis zur Lizenz: Die Gemma-Lizenz ist Open-Weight, nicht Open-Source, mit Googles eigenen Nutzungsbedingungen, lies sie also vor dem Ausliefern, auch wenn kommerzielle Nutzung erlaubt ist.