Puis-je faire tourner Qwen3-VL 8B ?

Qwen3-VL 8B est le modèle multimodal d'Alibaba dans la catégorie des 8B, ce qui en fait le choix idéal quand on veut un assistant local capable d'analyser réellement des images et des captures d'écran, et pas seulement de lire du texte. En quantification 4-bit, il pèse environ 4.9 GB : il tient donc sur une carte de 12 GB comme une RTX 3060 avec de la marge, et se loge sans souci dans la mémoire unifiée de n'importe quel Mac Apple Silicon. L'empreinte minimale raisonnable tourne autour de 8 GB de RAM, et si vous êtes à l'étroit vous pouvez descendre à une version 2-bit d'environ 3.4 GB, tandis que le q8, plus lourd, approche les 8.5 GB.

À l'usage quotidien, il paraît rapide pour un modèle 8B. Sur une RTX 3060, comptez environ 63 tokens par seconde en 4-bit, et un M-series Max monte à près de 72 : dans les deux cas, les réponses défilent plus vite que vous ne lisez ; une 4090 file à environ 177. Le chiffre vedette, c'est la fenêtre de contexte de 256K, mais traitez-la comme un plafond, pas comme une valeur par défaut. À 128K de contexte, le modèle plus le cache KV réclament déjà environ 21.7 GB au total, bien au-delà de ce qu'une carte de milieu de gamme peut contenir ; gardez donc un contexte de travail modeste sauf si vous disposez d'un gros GPU.

Face à Llama 3.1 8B, la comparaison évidente à taille égale, l'atout de Qwen3-VL est précisément ce que Llama ne sait pas faire : il lit les images. Pour de la conversation en texte brut, les deux sont assez proches pour que le choix se résume à savoir si vous avez besoin de la vision. Si vous ne lui donnez jamais que du texte, Llama conserve l'écosystème d'outils le plus mature ; si vous voulez décrire des captures d'écran ou extraire du texte d'une photo en local, c'est le meilleur outil. Il est distribué sous Apache 2.0, vous pouvez donc l'utiliser commercialement et en production sans souci de licence.