Puis-je faire tourner Gemma 4 E4B ?

Gemma 4 E4B est le petit modèle mixture-of-experts de Google, et il convient bien si vous voulez un assistant local capable aussi de lire des images. L'astuce d'un MoE, c'est que seuls 4.5B de ses 8B paramètres environ s'activent par token : il tourne donc à la vitesse d'un modèle bien plus petit, tout en exigeant de la place en mémoire pour l'ensemble. En 4-bit, il pèse autour de 4.9 GB, ce qui tient sur une carte de 12 GB comme une RTX 3060 avec beaucoup de marge, et s'installe sans problème dans la mémoire unifiée d'un Mac Apple Silicon de 8 GB. Prévoyez le modèle complet, pas seulement la tranche active.

À l'usage quotidien, il paraît rapide. Sur une RTX 3060, comptez environ 112 tokens par seconde en 4-bit, et une carte haut de gamme comme la RTX 4090 dépasse les 300, plus vite que vous ne pourrez jamais lire. Sur Apple Silicon, un M-Max se situe autour de 128 tok/s, et même le CPU sur DDR5 tient à peu près 19 tok/s si vous êtes patient. La fenêtre de contexte de 128K est bien réelle, mais coûteuse : remplissez-la et la mémoire totale grimpe à environ 21.7 GB, bien au-delà de ce que les poids seuls laissent croire. Limitez le contexte de travail à quelques milliers de tokens sur du matériel modeste et vous resterez à l'aise.

Face à Gemma 3 4B, le membre plus léger de la famille, E4B offre généralement une sortie de meilleure qualité tout en gardant une empreinte active aussi réduite, et les deux gèrent la vision : c'est donc le meilleur choix par défaut, sauf si vous manquez vraiment de mémoire. Son atout majeur est cet équilibre vitesse/qualité propre au MoE : chat et compréhension d'images avec la latence d'un petit modèle. Quant à la licence, c'est la partie facile. Apache 2.0 signifie que vous pouvez l'utiliser librement, y compris en usage commercial et en production, sans contrainte spécifique au fournisseur. Cela en fait l'un des modèles locaux les plus simples pour réellement livrer un produit.