Puis-je faire tourner Gemma 4 31B ?

Gemma 4 31B est le modèle open-weight de taille moyenne-haute de Google, avec 30.7B de paramètres, conçu pour le chat, le code, le raisonnement et la vision dans un seul package. Ce n'est pas un modèle qu'on emporte sur un simple portable. En quantification 4-bit, il pèse environ 18.6 GB, et il faut au moins 32 GB de RAM rien que pour le charger : une carte de 12 GB comme la RTX 3060 ne suffit tout bonnement pas. Son terrain réaliste, c'est un GPU de 24 GB tel qu'une RTX 4090, ou un Mac Apple Silicon doté d'une généreuse mémoire unifiée. Si vous cherchez un polyvalent compétent et que vous avez le matériel, c'est à ce palier que les modèles locaux commencent à devenir vraiment utiles.

À l'usage quotidien, il est confortable plutôt que fulgurant. Sur une RTX 4090, comptez environ 46 tokens par seconde en 4-bit, assez rapide pour lire à mesure que le texte défile ; sur un Apple M Max, ça se stabilise plus près de 19 tokens par seconde, ce qui reste correct pour du travail interactif. En CPU pur sur de la DDR5, on tombe à environ 3 tokens par seconde, territoire réservé aux patients. La fenêtre de contexte de 256K est généreuse, mais coûteuse : approcher les 128K mobilise déjà environ 49.3 GB de mémoire au total. Traitez donc la fenêtre complète comme un plafond et gardez un contexte de travail modeste, sauf si vous avez de la marge à revendre.

Face à Qwen 3 30B-A3B, un cousin quasi identique à 30.5B, le compromis est architectural : la conception mixture-of-experts de Qwen tend à être plus légère par token, tandis que Gemma 4 31B est un modèle dense qui sollicite tout son poids à chaque passe et se montre généralement plus régulier sur la vision et le suivi d'instructions varié. Si vous voulez nettement plus léger, Gemma 3 4B est le choix sobre. L'atout ici, c'est l'étendue : un seul modèle couvrant chat, code, raisonnement et images, sous une licence Apache 2.0 propre que vous pouvez exploiter commercialement et en production, sans restrictions propres à un fournisseur.