Puis-je faire tourner Gemma 3n E4B ?

Gemma 3n E4B est le petit modèle multimodal de Google conçu pour le chat et la vision, et il vise précisément ceux qui veulent un assistant local performant capable aussi d'analyser des images. Sur le papier il affiche 7.8B de paramètres, mais c'est une architecture mixture-of-experts : seuls 4B environ s'activent par token, si bien qu'il tourne nettement plus vite que sa taille ne le laisse penser. En 4-bit il pèse environ 4.7 GB, ce qui tient largement dans un GPU de 8 GB comme une RTX 3060, et se loge sans peine dans la mémoire unifiée de n'importe quel Mac Apple Silicon récent. Le piège du MoE, c'est qu'il faut quand même garder tout le modèle en mémoire : prévoyez donc au moins 8 GB de RAM, peu importe le nombre d'experts mobilisés.

Au quotidien, il paraît réactif. Sur une RTX 3060 12GB vous pouvez compter sur environ 126 tokens par seconde en 4-bit, et une 4090 monte à près de 353, les deux bien au-delà de la vitesse de lecture ; une puce M-series Max se situe autour de 144, et même un CPU seul sur de la DDR5 atteint environ 21, exploitable si vous n'êtes pas pressé. C'est la partie vision qui justifie vraiment de le préférer à un modèle texte de cette taille. Le contexte plafonne à 32K, confortable pour le chat et le Q&A sur documents, mais ce n'est pas une bête de contexte long. Remplissez cette fenêtre et la mémoire totale grimpe à environ 8.8 GB : sur une carte de 8 GB, gardez donc un contexte de travail modéré.

Face à Llama 3.1 8B, l'alternative texte évidente de sa catégorie, Gemma 3n E4B sacrifie en général un peu de profondeur de raisonnement brut au profit de deux choses que Llama ne peut offrir à cet encombrement : la compréhension native des images et l'avantage de vitesse du MoE. Si vous n'avez besoin que de texte, Gemma 3 4B est le petit frère plus léger et Llama 3.1 8B le choix plus sûr pour du pur chat. La vraie force de Gemma 3n E4B, c'est d'être un modèle vision-et-chat réellement utilisable qui tient encore dans 8 GB. Une remarque sur la licence : la licence Gemma est open-weight et non open-source, avec les conditions d'utilisation propres à Google, alors lisez-les avant de déployer — l'usage commercial reste toutefois autorisé.