Puis-je faire tourner Gemma 3 4B ?

Gemma 3 4B est le petit cheval de trait de Google, pensé pour qui veut un assistant local compétent capable, en prime, de comprendre les images. Avec ses 4,3 milliards de paramètres, il fait mieux que ce qu'on attend d'un modèle 4B, et son empreinte reste minuscule : une quantification 4 bits pèse environ 2.6 GB, et il suffit d'environ 6 GB de RAM pour le faire tourner. Autrement dit, il tient sur presque n'importe quel matériel un peu vivant : un vieux GPU portable de 8 GB, un Mac Apple Silicon d'entrée de gamme, voire un RTX 3060 de 12 GB avec de la marge. Si vous voulez la vision en plus du chat sans grosse machine, c'est le point de départ évident.

À l'usage quotidien, il est rapide. Sur un RTX 3060, comptez environ 117 tok/s en 4 bits, et sur un RTX 4090 cela grimpe à environ 329 tok/s : dans les deux cas, les réponses défilent plus vite que vous ne lisez. Un Apple M Max tourne autour de 134 tok/s, et même en CPU pur sur DDR5 il atteint environ 20 tok/s, ce qui reste exploitable pour des prompts courts. La fenêtre de contexte de 128K est bien réelle, mais coûteuse : remplissez-la entièrement et la mémoire totale grimpe à environ 15.3 GB. Sur un petit GPU, limitez donc votre contexte de travail à quelques milliers de tokens, ou passez à une quantification plus légère.

Face à Qwen 3 4B, l'arbitrage honnête est clair : Qwen 3 garde généralement l'avantage sur le raisonnement et les tâches structurées en plusieurs étapes, tandis que le point fort de Gemma 3 4B reste la vision. Peu de modèles aussi petits lisent vraiment les images, et cela seul en fait le bon choix quand il vous faut un modèle multimodal local sur du matériel modeste. Si vous le dépassez, Gemma 3 12B est la montée en gamme naturelle dans la même famille. Une réserve : la licence Gemma est à poids ouverts (open-weight), pas open-source, et impose les conditions d'utilisation propres à Google ; lisez-les donc avant de l'intégrer à un produit.