Puis-je faire tourner Gemma 3 12B ?

Gemma 3 12B est le modèle open-weight de taille intermédiaire de Google, et il occupe une place utile pour ceux qui veulent plus de capacités que les habituels modèles de chat 7-8B sans devoir passer à une machine qui exige une station de travail. En quantification 4-bit, il pèse environ 7.4 GB, ce qui tient sur une carte de 12 GB comme une RTX 3060 avec un peu de marge, et tourne sans souci en mémoire unifiée sur un Mac Apple Silicon de 16 GB ou plus. Le plancher est de 12 GB de RAM rien que pour le charger. Il gère aussi la vision, donc vous pouvez lui fournir des images en plus du texte, ce que la plupart des modèles de cette taille ne savent pas faire.

À l'usage quotidien, il reste réactif sur du matériel grand public. Sur une RTX 3060 12GB, vous obtenez environ 41 tokens par seconde en 4-bit, plus vite que vous ne lisez, et un Apple M Max pousse cela à environ 47 tok/s. Une 4090 filera à environ 116 tok/s si vous en avez une. La fenêtre de contexte de 128K est le piège : elle est bien réelle, mais la remplir coûte cher. Au 128K complet, le modèle plus le cache KV réclame environ 27.7 GB au total, bien au-delà de ce que contient une carte de 12 GB ; gardez donc un contexte de travail modéré, sauf si vous disposez d'un GPU de 24 GB ou d'une mémoire unifiée généreuse.

Face à Mistral Nemo 12B, l'alternative évidente de même taille, Gemma 3 12B a généralement l'avantage sur le suivi d'instructions et le multimodal, puisque Nemo se limite au texte, même si Nemo reste le choix plus léger pour du chat purement long-contexte. Si vous voulez rester plus petit, Gemma 3 4B réduit l'empreinte tout en conservant la vision. La force de Gemma 3 12B est d'être un modèle vision-et-chat capable qui tourne encore sur un seul GPU de milieu de gamme. Une réserve : il est distribué sous la licence Gemma de Google, qui est open-weight mais comporte des conditions propres au fournisseur ; lisez-les avant tout déploiement commercial plutôt que de supposer qu'il s'agit d'open source classique.