Puis-je faire tourner GLM-4.6V-Flash ?

GLM-4.6V-Flash est un modèle vision-et-chat de 9B signé Z.ai, pensé pour ceux qui veulent un assistant local capable d'analyser réellement des images, pas seulement de lire du texte. En quantification 4-bit, il pèse environ 5.5 GB : il tient donc largement sur une carte 12 GB comme une RTX 3060, et entre sans problème dans la mémoire unifiée de n'importe quel Mac Apple Silicon correctement équipé. Comptez au minimum autour de 12 GB de RAM pour le charger confortablement. Si la place vous manque, une version 2-bit descend à environ 3.8 GB, mais vous sacrifiez de la qualité pour gagner cette marge.

À l'usage quotidien, il est rapide. Sur une RTX 3060, attendez-vous à environ 56 tokens par seconde en 4-bit, assez pour que les réponses défilent plus vite que la lecture, et une 4090 grimpe à environ 157 tok/s si vous en avez une. Un M-series Max tourne autour de 64 tok/s, tandis qu'en pur CPU sur DDR5 ça rampe à environ 9 tok/s, utilisable seulement si vous êtes patient. Le contexte de 128K est bien réel mais coûteux : le remplir pousse la mémoire totale vers 23.2 GB, bien au-delà de ce qu'encaisse une carte 12 GB. Gardez donc un contexte de travail modeste et misez sur les tâches de vision plutôt que sur d'énormes documents.

Face à ses cousins, Qwen 2.5 VL 7B est le point de comparaison évident côté vision et tient globalement bien la route, tandis que Qwen 3.5 9B reste le meilleur choix si vous voulez aussi du raisonnement en plus des images. La grande force de GLM-4.6V-Flash, c'est d'être un modèle multimodal vraiment compact qui tourne sur du matériel modeste sans faire d'histoires. La licence est MIT, ce qui signifie que vous êtes libre de l'utiliser commercialement et en production, sans aucune contrainte imposée par le fournisseur, un véritable atout face à beaucoup de modèles open-weight.