Puis-je faire tourner Granite 4.0 H Small ?

Granite 4.0 H Small est le modèle mixture-of-experts (MoE) d'IBM : 32B de paramètres sur le papier, mais seulement 9B environ actifs par token. Toute la subtilité tient dans cette distinction. Il tourne vite pour sa taille parce que chaque token ne sollicite qu'une fraction des poids, mais il faut tout de même garder le modèle entier en mémoire : dimensionnez donc votre matériel autour du minimum de 32 GB, pas autour du nombre de paramètres actifs. En quantification 4-bit, il tombe autour de 19,4 GB, ce qui exclut totalement une carte de 12 GB comme une RTX 3060 et vous oriente plutôt vers un GPU de 24 GB ou un Mac Apple Silicon doté de beaucoup de mémoire unifiée. Il vise le chat et le code, pas les essais sans enjeu sur un portable.

Sur une RTX 4090, il avance à environ 157 tokens par seconde, soit bien au-delà de la vitesse de lecture, ce qui rend les sessions de code interactives très agréables. Sur un Mac M-series Max, comptez autour de 64 tok/s, encore confortable, tandis qu'en CPU pur sur DDR5 il chute à environ 9 tok/s, exploitable pour des traitements par lots mais pas pour du chat en direct. Le contexte de 128K est bien réel, mais coûteux : remplissez-le et la mémoire totale grimpe à près de 50,7 GB, donc sur une carte de 24 GB vous ne pouvez pas vraiment tourner près du plafond. Gardez un contexte de travail modeste, sauf si vous disposez d'un Mac de 64 GB en réserve.

Face à Qwen 3 32B, un modèle dense de taille totale comparable, Granite se montre généralement plus léger côté matériel grâce à sa conception MoE, même si Qwen 3 a tendance à prendre l'avantage sur le raisonnement exigeant puisqu'il active tous ses paramètres à chaque token. Si vous voulez quelque chose de plus petit et plus simple, le Granite 3.3 8B dense s'installe plus facilement sur des GPU modestes. Le véritable atout de Granite 4.0 H Small, c'est d'être un modèle de la classe 32B réellement rapide que vous pouvez vraiment auto-héberger, et il est publié sous licence Apache 2.0 : vous êtes donc libre de l'utiliser à des fins commerciales sans souci de licence.