Puis-je faire tourner Qwen 3.5 35B-A3B ?

Qwen 3.5 35B-A3B est un modèle mixture-of-experts qui repose sur une astuce maligne : sur ses 35B de paramètres au total, seuls 3B environ sont actifs par token. Il génère donc à la vitesse d'un petit modèle tout en puisant dans les connaissances d'un grand. Le piège, c'est la mémoire. Vous gardez quand même tout le modèle en RAM : dimensionnez sur l'empreinte complète, pas sur la part active. En 4-bit il tourne autour de 21 GB, et il vous faut au moins 32 GB de mémoire système. Une RTX 3060 de 12 GB ne suffit pas ; concrètement, il faut un GPU de 24 GB ou une machine Apple Silicon bien dotée en mémoire.

Une fois qu'il tient en mémoire, l'architecture MoE porte ses fruits et il paraît rapide pour sa catégorie de poids. Sur une RTX 4090 vous pouvez voir environ 471 tokens par seconde, et sur un Apple M Max à peu près 192, assez vite tous les deux pour que la réponse dépasse votre vitesse de lecture. Le CPU sur DDR5 atteint environ 28 tokens par seconde : lent, mais utilisable pour du traitement par lots. Il gère le chat, le raisonnement, le code et la vision, avec une généreuse fenêtre de contexte de 256K. Méfiez-vous tout de même de ce plafond : à 128K de contexte, l'empreinte mémoire totale grimpe à environ 53.8 GB, donc les sessions à long contexte exigent une machine vraiment costaude, pas juste de quoi charger les poids.

Face à Command R 35B, un modèle dense de même taille qu'il vaut la peine de comparer, la vraie différence tient à l'architecture MoE plutôt qu'au nombre de paramètres : taille nominale identique, mais Qwen tourne souvent bien plus vite par token puisque seuls 3B sont actifs. Ce rapport vitesse/capacité est sa marque de fabrique : une génération quasi instantanée pour un modèle qui embarque 35B de connaissances, plus le support multimodal de la vision. Les plus petits Qwen 3 0.6B et 1.7B sont les bons choix si vous êtes limité en mémoire et n'avez besoin que de chat basique. La licence, elle, est la partie facile : Apache 2.0 signifie que vous pouvez l'utiliser librement, y compris en commercial et en production, sans clause propre à un fournisseur à éplucher.