Puis-je faire tourner Qwen3-Next 80B-A3B ?

Qwen3-Next 80B-A3B est un modèle à mélange d'experts (MoE) signé Alibaba, et son chiffre phare induit en erreur, mais de façon utile : il compte 80B de paramètres au total, mais n'en active qu'environ 3B par token. Résultat, il génère à la vitesse d'un petit modèle tout en puisant dans les connaissances d'un grand. Le hic, c'est la mémoire. Vous devez tout de même charger l'ensemble en RAM ou en VRAM : même en quantification 4-bit, autour de 48.5 GB, il faut au moins 64 GB pour le faire tourner, ce qui exclut les GPU grand public seuls et oriente plutôt vers une machine à grande mémoire.

En pratique, c'est un modèle pour Apple Silicon ou station de travail, pas pour GPU de jeu. Sur un M Max doté de suffisamment de mémoire unifiée, il débite environ 192 tokens par seconde, ce qui est franchement rapide pour un modèle de classe 80B et la principale raison de le choisir. Une RTX 3060 de 12 GB ou une RTX 4090 de 24 GB ne peuvent tout simplement pas le charger. Sur CPU avec de la DDR5, vous pouvez encore l'exécuter à environ 28 tokens par seconde : plus lent, mais exploitable pour des traitements par lots. Le contexte de 256K est réel, mais gourmand : monter vers 128K peut porter la mémoire totale autour de 95.8 GB, prévoyez donc de la marge avant de le saturer.

Face à Llama 3.1 70B, la comparaison dense évidente, Qwen3-Next paraît nettement plus rapide pour sa taille, car seuls 3B de paramètres sont actifs à chaque étape là où le Llama doit faire tourner ses 70B. La qualité en conversation et en raisonnement est compétitive, même si les modèles denses de 70B conservent parfois un avantage sur les requêtes multi-étapes les plus difficiles. Son atout majeur reste ce rapport vitesse/taille : l'étendue d'un grand modèle avec la latence d'un petit, à condition d'avoir la mémoire pour l'héberger. La licence est Apache 2.0, vous êtes donc libre de l'utiliser à des fins commerciales et en production sans contraintes propres au fournisseur.