Kann ich Gemma 4 31B lokal ausführen?

Gemma 4 31B ist Googles mittelgroßes Open-Weight-Modell mit 30,7B Parametern, ausgelegt auf Chat, Coding, Reasoning und Vision in einem Paket. Das ist kein Modell für unterwegs auf dem Laptop. Bei 4-Bit-Quantisierung wiegt es rund 18,6 GB, und du brauchst mindestens 32 GB RAM, um es überhaupt zu laden – eine 12-GB-Karte wie die RTX 3060 reicht schlicht nicht aus. Sein realistisches Zuhause ist eine 24-GB-GPU wie die RTX 4090 oder ein Apple-Silicon-Mac mit reichlich Unified Memory. Wer einen fähigen Allrounder will und die Hardware hat, ist hier in der Klasse, in der lokale Modelle wirklich brauchbar werden.

Im Alltag ist es eher angenehm als rasant. Auf einer RTX 4090 kannst du mit etwa 46 Token pro Sekunde bei 4-Bit rechnen – schnell genug, um beim Streaming mitzulesen; auf einem Apple M Max pendelt es sich näher bei 19 Token pro Sekunde ein, immer noch passend für interaktives Arbeiten. Reines CPU-Inferencing auf DDR5 fällt auf grob 3 Token pro Sekunde ab, was nur etwas für Geduldige ist. Das 256K-Kontextfenster ist großzügig, aber teuer: Schon Richtung 128K schluckt es rund 49,3 GB Gesamtspeicher. Behandle das volle Fenster also als Obergrenze und halte den Arbeitskontext schlank, sofern du keine Reserven übrig hast.

Gegen Qwen 3 30B-A3B, einen fast identischen Verwandten mit 30,5B, ist der Unterschied architektonisch: Qwens Mixture-of-Experts-Design läuft pro Token tendenziell leichter, während Gemma 4 31B ein dichtes Modell ist, das bei jedem Durchlauf sein volles Gewicht nutzt und bei Vision und breiter Instruktionsbefolgung in der Regel souveräner wirkt. Wer etwas deutlich Kleineres sucht, greift mit Gemma 3 4B zur leichteren Variante. Das Besondere hier ist die Breite: ein Modell für Chat, Code, Reasoning und Bilder, unter einer sauberen Apache-2.0-Lizenz, die du kommerziell und im Produktivbetrieb ohne anbieterspezifische Einschränkungen einsetzen kannst.