Puis-je faire tourner Gemma 4 26B A4B ?

Gemma 4 26B A4B est la proposition mixture-of-experts de Google, et toute l'astuce tient dans le nom : le modèle compte 25.2B de paramètres au total mais n'en active que 3.8B par token. Autrement dit, il génère à la vitesse d'un petit modèle tout en réclamant la mémoire de l'ensemble. En quantification 4 bits, il pèse environ 15.3 GB, et il faut au moins 24 GB de RAM pour le charger confortablement. Cela exclut une carte de 12 GB comme la RTX 3060, où il ne tient tout simplement pas, et vous oriente vers un GPU de 24 GB ou une machine Apple Silicon dotée d'une mémoire unifiée généreuse.

À l'usage quotidien, l'architecture MoE paie. Sur une RTX 4090, il tourne à environ 372 tokens par seconde, bien au-delà du point où le flux défile plus vite que vous ne lisez, et un M-series Max tient encore autour de 151 tok/s. En CPU seul sur DDR5, on retombe à environ 22 tok/s, utilisable pour du traitement par lots mais pas pour du chat interactif. La fenêtre de contexte est généreuse, à 256K, mais voyez-la comme un plafond : à 128K de contexte, l'empreinte mémoire totale grimpe à environ 43.4 GB ; sur une configuration de 24 GB, gardez donc un contexte de travail modeste, à moins de passer à la version q2 de 10.6 GB.

Face à Mistral Small 3.1 24B, un modèle de vision dense de taille comparable, Gemma 4 paraît globalement plus rapide par token grâce au routage parcimonieux, même si les modèles denses de cette catégorie peuvent garder l'avantage sur le raisonnement le plus exigeant en un seul passage. Son atout marquant, c'est ce rapport vitesse/capacité, doublé d'un vrai support de la vision et du code dans un seul package. La licence est Apache 2.0 : vous pouvez l'utiliser commercialement et en production sans restrictions propres au fournisseur, ce qui est rare à cette taille et joue clairement en sa faveur. Récupérez-le avec ollama sous le nom gemma4:26b.