Puis-je faire tourner Qwen3-VL 30B-A3B ?

Qwen3-VL 30B-A3B est le modèle de vision mixture-of-experts d'Alibaba, et toute l'astuce tient dans son nom : 30B de paramètres au total, mais seulement 3B actifs par token. Concrètement, il tourne à la vitesse d'un petit modèle tout en exigeant la mémoire de l'ensemble. En quantification 4-bit, il pèse environ 18.2 GB, et il vous faut au moins 32 GB de RAM pour le faire tenir confortablement. Il ne rentre pas sur une carte 12 GB comme une RTX 3060, mais une machine Apple Silicon dotée d'une généreuse mémoire unifiée ou un GPU de 24 GB est son terrain naturel. Il est pensé pour qui veut de la compréhension d'images, du chat et du raisonnement en local.

À l'usage quotidien, le choix des 3B actifs est payant : sur une RTX 4090, vous atteignez environ 471 tokens par seconde, et même un Apple M Max reste alerte à environ 192 tok/s, assez rapide pour que les réponses visuelles paraissent instantanées. Sur un CPU avec de la DDR5, ça retombe à environ 28 tok/s, exploitable mais plus vraiment réactif. La fenêtre de contexte de 256K est le plafond marketing, mais ce n'est pas gratuit. La remplir coûte cher : à 128K de contexte, le modèle plus le cache grimpe à environ 48.6 GB au total, donc dimensionnez votre mémoire selon le contexte que vous utilisez réellement, et non selon le maximum de la fiche technique.

Face à Gemma 4 31B, le modèle apparenté le plus proche ici, les deux jouent dans la même catégorie de taille, mais Gemma 4 est un modèle dense de 30.7B qui active chaque paramètre ; Qwen3-VL paraît donc généralement plus rapide pour son empreinte, tandis que Gemma se montre plus régulier sur le raisonnement pur et le code. La signature de Qwen3-VL, c'est cette capacité de vision intégrée dans un modèle aussi rapide sur du matériel grand public, ce qui reste rare en local. Il est sous licence Apache 2.0 : vous pouvez donc l'utiliser commercialement et en production sans restrictions propres au fournisseur. Récupérez-le avec le tag Ollama qwen3-vl:30b et c'est parti.