Puis-je faire tourner Qwen3 Coder Next 80B-A3B ?

Qwen3 Coder Next 80B-A3B est un spécialiste du code conçu comme un Mixture-of-Experts, et c'est cette architecture qui explique tout. Il compte 80B de paramètres au total mais n'en active que 3B par token : il tourne donc bien plus vite que sa taille ne le laisse penser, tout en exigeant la mémoire du modèle complet. En 4-bit il pèse environ 48.5 GB, ce qui exclut tout GPU grand public : il ne tient pas sur une RTX 4090 de 24 GB, et encore moins sur une 3060 de 12 GB. Son terrain de jeu réaliste, c'est un Mac Apple Silicon doté d'une mémoire unifiée généreuse, ou une station de travail avec 64 GB de RAM système ou plus. Dimensionnez sur le minimum de 64 GB, pas sur les 3B actifs.

À l'usage quotidien, le design MoE porte ses fruits. Sur un Apple M Max il génère autour de 192 tokens par seconde, ce qui paraît instantané pour la complétion et le refactoring de code, et même l'inférence purement CPU sur DDR5 atteint environ 28 tokens par seconde : lent, mais réellement exploitable pour un modèle de cette taille. La fenêtre de contexte de 256K est l'argument phare pour travailler sur des dépôts entiers, mais la mémoire est le piège : à 128K de contexte, l'empreinte totale grimpe à environ 95.8 GB. Gardez-le en tête avant de charger une grosse base de code, car c'est le cache KV, et non les poids, qui vous fera basculer sur une machine de 64 GB.

Face aux alternatives denses de sa catégorie de poids, comme Llama 3.1 70B, ce modèle troque généralement l'étendue brute contre une spécialisation code et de la vitesse : le routage MoE lui permet de répondre plus vite qu'un modèle dense de 70B tout en se concentrant sur le code plutôt que sur la conversation généraliste, où les variantes chat plus petites de Qwen 3 conviennent mieux. Son atout marquant, c'est ce rapport vitesse/taille : une génération quasi instantanée pour un modèle de la classe des 80B. Et le bonus pratique, c'est la licence : Apache 2.0, donc vous pouvez l'utiliser librement en contexte commercial et en production, sans aucune restriction propre à un fournisseur à éplucher au préalable.