Puis-je faire tourner Gemma 4 12B ?

Gemma 4 12B est un modèle dense de 12B capable de vision, pensé pour le chat, le code et le raisonnement, destiné à ceux qui veulent un seul assistant local performant qui sait aussi lire des images. En quantification 4-bit, il pèse environ 7.3 GB : il tient donc sur une carte de 12 GB comme une RTX 3060, avec de la marge pour le contexte, et se loge sans peine dans la mémoire unifiée d'un Mac Apple Silicon. Le modèle réclame au minimum environ 12 GB de RAM pour se charger. Si vous êtes juste, la version 2-bit descend à environ 5 GB, mais vous sacrifiez de la qualité pour gagner cette place.

Au quotidien, il débite environ 42 tok/s sur une RTX 3060, assez rapide pour suivre la lecture en temps réel, et autour de 48 tok/s sur un Mac M-series Max. Une RTX 4090 le pousse au-delà de 100. La fenêtre de contexte de 256K est généreuse, mais voyez-la comme une réserve, pas comme une valeur par défaut. Même à 128K de contexte, le modèle plus le cache KV grimpe à environ 27.4 GB au total, bien au-delà d'une seule carte de 12 GB : vous débordez alors sur la mémoire système ou subissez un fort ralentissement. Sur du matériel grand public, gardez le contexte de travail à quelques milliers de tokens.

Face au plus léger Gemma 3 4B, le 12B tient généralement mieux la route sur le raisonnement en plusieurs étapes et le code, ce qui est le prix de la mémoire supplémentaire ; Gemma 3 4B reste le bon choix si vous êtes contraint ou n'avez besoin que de chat et de vision. Le vrai atout ici, c'est que la vision et un raisonnement textuel solide arrivent dans un seul modèle qui tourne encore sur un GPU de milieu de gamme. La licence est nette elle aussi : Apache 2.0 signifie que vous pouvez l'utiliser commercialement et en production, sans contraintes propres au fournisseur.