Kann ich Gemma 4 26B A4B lokal ausführen?

Gemma 4 26B A4B ist Googles Mixture-of-Experts-Modell, und der Clou steckt im Namen: Es umfasst insgesamt 25.2B Parameter, leitet pro Token aber nur 3.8B davon durch. Dadurch generiert es so schnell wie ein kleines Modell, braucht aber den Speicher für das gesamte Modell. Bei 4-Bit-Quantisierung landet es bei etwa 15.3 GB, und du solltest mindestens 24 GB RAM haben, um es bequem zu laden. Damit fällt eine 12-GB-Karte wie die RTX 3060 raus, auf der es schlicht nicht passt – gefragt ist eine GPU mit 24 GB oder eine Apple-Silicon-Maschine mit reichlich Unified Memory.

Im Alltag zahlt sich das MoE-Design aus. Auf einer RTX 4090 läuft es mit rund 372 Tokens pro Sekunde, also deutlich schneller, als du lesen kannst, und ein M-Series Max schafft immer noch etwa 151 tok/s. Reiner CPU-Betrieb auf DDR5 fällt auf rund 22 tok/s ab – brauchbar für Batch-Aufgaben, aber nicht für interaktiven Chat. Das Kontextfenster ist mit 256K großzügig, aber sieh das als Obergrenze: Bei 128K Kontext klettert der gesamte Speicherbedarf auf etwa 43.4 GB, auf einem 24-GB-Setup hältst du den Arbeitskontext also moderat – es sei denn, du wechselst auf den 10.6 GB großen q2-Build.

Gegenüber Mistral Small 3.1 24B, einem ähnlich großen dichten Vision-Modell, wirkt Gemma 4 dank des Sparse-Routings pro Token meist flotter, auch wenn dichte Modelle dieser Klasse beim schwierigsten Single-Pass-Reasoning die Nase vorn behalten können. Seine herausragende Eigenschaft ist dieses Verhältnis von Geschwindigkeit zu Leistungsfähigkeit, kombiniert mit echter Vision- und Coding-Unterstützung in einem Paket. Die Lizenz ist Apache 2.0, du kannst es also kommerziell und produktiv ohne anbieterspezifische Einschränkungen einsetzen – das ist in dieser Größe selten und ein echter Pluspunkt. Hol es dir mit ollama als gemma4:26b.