Puis-je faire tourner Qwen 3.5 122B-A10B ?

Qwen 3.5 122B-A10B est un gros modèle mixture-of-experts pensé pour ceux qui veulent du chat, du raisonnement, du code et de la vision haut de gamme sur leur propre matériel. Toute l'idée tient dans l'architecture MoE : sur ses 122B paramètres au total, seuls 10B s'activent par token, si bien qu'il génère bien plus vite qu'un modèle dense de cette taille. Le piège, c'est la mémoire, car il faut tout de même garder l'intégralité du modèle en mémoire. En quantification 4-bit cela représente environ 74 GB, et il faut à peu près 96 GB de RAM rien que pour le charger. Concrètement, il faut une station de travail à grosse mémoire ou un Mac Apple Silicon doté d'une mémoire unifiée généreuse ; il ne tient pas sur une RTX 4090 de 24 GB, encore moins sur une carte de 12 GB.

Là où il tient, il se révèle étonnamment rapide pour sa taille, justement grâce à ces 10B paramètres actifs. Sur un M Max, comptez autour de 57 tokens par seconde, assez pour lire confortablement au fil du streaming, tandis qu'une machine CPU seul en DDR5 tombe à environ 8 tokens par seconde et convient mieux au traitement par lots qu'au chat en direct. La fenêtre de contexte monte jusqu'à 256K, mais voyez-la comme un plafond. La mémoire augmente avec ce que vous remplissez réellement, et à 128K de contexte l'empreinte totale grimpe à environ 131 GB : les chiffres en contexte long supposent donc une machine conçue pour ça.

Face à Devstral 2 123B, qui affiche presque le même nombre de paramètres, Qwen 3.5 échange en général la spécialisation pure dans le code contre la polyvalence : il couvre chat, raisonnement et vision dans un seul modèle plutôt que de se cantonner à un domaine. Cette polyvalence est son atout majeur, et les petits frères Qwen 3 0.6B et 1.7B restent le choix raisonnable quand vous n'avez besoin que d'un chat léger sur du matériel modeste. La licence est Apache 2.0, vous pouvez donc l'utiliser commercialement et en production sans restriction, ce qui est rare à ce niveau de capacité et une vraie raison de le préférer à des poids plus contraints.