Puis-je faire tourner Granite 3.3 8B ?

Granite 3.3 8B est la proposition d'IBM dans la catégorie très encombrée des modèles de chat 8B, et il vise précisément les personnes qui veulent un assistant local fiable, vraiment déployable en production. Avec ses 8,2 milliards de paramètres, il pèse environ 5 GB en quantification 4-bit : il tient donc sur un GPU de 8 GB, tourne dans la mémoire unifiée de n'importe quel Mac Apple Silicon, et le minimum de 8 GB de RAM le met à la portée d'un matériel assez ordinaire. Si vous avez besoin de le réduire davantage, la version 2-bit descend à environ 3,4 GB, au prix d'une perte de qualité.

Au quotidien, il se montre rapide et régulier pour le chat. Sur une RTX 3060 12 GB, comptez environ 62 tokens par seconde en 4-bit, soit nettement plus vite que votre vitesse de lecture, et une RTX 4090 monte à près de 172 tok/s. Un M-series Max se situe autour de 70 tok/s, tandis qu'en CPU seul sur DDR5 on tombe plutôt à 10 tok/s, à réserver aux traitements patients en arrière-plan. La fenêtre de contexte de 128K est bien réelle, mais voyez-la comme un plafond : la remplir entièrement pousse la mémoire totale à environ 22 GB, donc sur une carte de 8 GB limitez votre contexte de travail à quelques milliers de tokens.

Face à ses concurrents, Granite 3.3 8B est plus le cheval de trait que la vedette. Qwen 3 8B, de taille quasi identique, prend généralement l'avantage sur les requêtes exigeantes en raisonnement et en plusieurs étapes, et si vous avez besoin d'une vraie puissance de codage, le bien plus gros Granite 4.0 H Small est plus adapté. Ce que ce modèle offre en échange, c'est la clarté de licence : il est sous Apache 2.0, vous pouvez donc l'utiliser commercialement et en production sans aucune contrainte propre au fournisseur. Pour une entreprise qui veut un petit modèle de chat prévisible, déployable sans arrière-pensée juridique, cette ouverture est le véritable atout.