Puis-je faire tourner Qwen 2.5 VL 7B ?

Qwen 2.5 VL 7B est le modèle vision-langage d'Alibaba, et c'est précisément ce qui compte : en plus du chat, il lit images, captures d'écran, graphiques et documents. C'est donc celui vers lequel se tourner quand votre prompt contient une image et pas seulement du texte. Avec 8.3B de paramètres, il reste compact. Une quantification 4-bit tourne autour de 5 GB, ce qui tient sur un GPU de 8 GB et s'intègre sans peine dans la mémoire unifiée de n'importe quel Mac Apple Silicon. Le minimum de 8 GB de RAM est réaliste pour les poids, mais le travail sur images et un contexte plus long font grimper la note en pratique.

À l'usage quotidien, il paraît rapide pour sa catégorie. Sur une RTX 3060 12GB, comptez environ 61 tokens par seconde en 4-bit, et une RTX 4090 pousse jusqu'à environ 170, assez vite pour que les réponses défilent plus vite que votre lecture. Un Max de la série M se situe près de 69 tok/s, tandis que le mode CPU seul sur DDR5 tombe à environ 10. Le contexte de 128K est bien réel, mais c'est un plafond, pas une altitude de croisière : le remplir porte la mémoire totale à environ 22 GB, bien au-delà d'une carte de 8 GB. Gardez donc un contexte de travail modeste, sauf si vous avez la marge nécessaire.

Pour du chat en texte brut, un modèle texte dédié comme Granite 3.3 8B, de taille comparable, est généralement un choix plus net : il est conçu pour ça et évite la surcharge liée à la vision. La force de Qwen 2.5 VL 7B, c'est justement que cette surcharge porte ses fruits : une compréhension native des images dans un modèle assez petit pour être auto-hébergé, ce que les minuscules Qwen 3 0.6B et 1.7B ne peuvent pas offrir. Il est distribué sous licence Apache 2.0, vous pouvez donc l'utiliser commercialement et en production sans souci de licence, chose rare pour des poids multimodaux performants.