Puis-je faire tourner Gemma 4 E2B ?

Gemma 4 E2B est le petit modèle mixture-of-experts de Google, et tout l'intérêt tient dans le calcul : il embarque 5,1 milliards de paramètres au total mais n'en active qu'environ 2,3 milliards par token. Résultat, il tourne à la vitesse d'un modèle bien plus petit tout en exigeant la mémoire de l'ensemble. Une quantification 4-bit pèse environ 3,1 GB, et il faut compter au minimum 6 GB de RAM pour charger l'intégralité des poids. Cela tient sur un GPU 8 GB d'entrée de gamme ou n'importe quel Mac Apple Silicon avec de la marge, et il gère à la fois le chat et la vision : vous pouvez donc lui donner des images, pas seulement du texte.

À l'usage quotidien, l'astuce des paramètres actifs paie en débit brut. Sur une RTX 3060 12GB, il atteint environ 219 tokens par seconde en 4-bit, une RTX 4090 dépasse les 600, et un M-series Max se situe autour de 250. Les réponses défilent bien plus vite que vous ne lisez. Le contexte de 128K est le piège à surveiller : remplissez-le et la mémoire totale grimpe à environ 16,8 GB, bien au-delà des 6 GB nécessaires en contexte court. Sur une petite carte, gardez le contexte de travail à quelques milliers de tokens, sinon le cache KV finira par dépasser le modèle lui-même.

Au sein de sa propre famille, Gemma 3 4B est l'alternative dense si vous préférez éviter l'empreinte mémoire du MoE, et Qwen 3 4B garde généralement l'avantage sur le raisonnement multi-étapes, puisque c'est son objectif affiché. Le point fort de Gemma 4 E2B, c'est son rapport vitesse/capacités, plus la vision native dans un format aussi léger, ce qui est rare à cette taille. Il est sous licence Apache 2.0 : contrairement aux anciennes conditions Gemma de Google, vous pouvez donc l'utiliser commercialement en production sans licence particulière à éplucher. Récupérez-le avec ollama run gemma4:e2b et le tour est joué.