Kann ich Gemma 4 E2B lokal ausführen?

Gemma 4 E2B ist Googles kleines Mixture-of-Experts-Modell, und das Spannende steckt in der Rechnung: Es bringt insgesamt 5.1B Parameter mit, aktiviert aber nur rund 2.3B pro Token. Dadurch läuft es so schnell wie ein deutlich kleineres Modell, braucht aber trotzdem Speicher für das gesamte Gewicht. Eine 4-Bit-Quantisierung landet bei etwa 3.1 GB, und für die kompletten Gewichte solltest du mindestens rund 6 GB RAM einplanen. Das passt locker auf eine Einsteiger-GPU mit 8 GB oder jeden Apple-Silicon-Mac, und es beherrscht sowohl Chat als auch Vision – du kannst ihm also Bilder geben, nicht nur Text.

Im Alltag zahlt sich der Trick mit den aktiven Parametern beim reinen Durchsatz aus. Auf einer RTX 3060 12GB schafft es bei 4 Bit rund 219 Tokens pro Sekunde, eine RTX 4090 treibt das über 600; ein M-Series Max liegt bei etwa 250. Die Antworten strömen weit schneller, als du lesen kannst. Der Haken ist der 128K-Kontext: Füllst du ihn, klettert der Gesamtspeicher auf rund 16.8 GB – weit über die 6 GB, die du bei kurzem Kontext brauchst. Auf einer kleinen Karte solltest du den Arbeitskontext auf ein paar tausend Tokens begrenzen, sonst wächst der KV-Cache über das Modell selbst hinaus.

Innerhalb der eigenen Familie ist Gemma 3 4B die dichte Alternative, falls du dich nicht mit dem MoE-Speicherbedarf herumschlagen möchtest, und Qwen 3 4B hat beim mehrstufigen Reasoning meist die Nase vorn, da genau das sein erklärter Schwerpunkt ist. Die Stärke von Gemma 4 E2B ist das Verhältnis von Geschwindigkeit zu Fähigkeit plus natives Vision in einem so leichten Paket – das ist in dieser Größe selten. Es steht unter Apache 2.0, du kannst es also – anders als unter Googles älteren Gemma-Bedingungen – kommerziell in der Produktion einsetzen, ganz ohne spezielle Lizenz zum Durchlesen. Hol es dir mit ollama run gemma4:e2b und du bist startklar.