Puis-je faire tourner Qwen 3 30B-A3B ?

Qwen 3 30B-A3B est un modèle mixture-of-experts, et ce seul fait conditionne toute la façon de l'aborder. Sur le papier il compte 30,5 milliards de paramètres, mais seuls 3,3 milliards s'activent par token : il tourne donc à la vitesse d'un petit modèle tout en raisonnant avec l'ampleur d'un grand. Le piège, c'est la mémoire : il faut quand même charger l'ensemble en RAM. Un quant 4-bit pèse environ 18.5 GB et le modèle réclame au moins 32 GB pour respirer, ce qui exclut une carte de 12 GB comme la RTX 3060 mais tient à l'aise sur un Mac Apple Silicon de 32 GB, ou sur une 4090 de 24 GB si vous restez raisonnable sur le contexte.

À l'usage quotidien, la conception MoE paie d'une manière que la fiche technique sous-estime. Sur une 4090 vous pouvez voir environ 428 tokens par seconde, et même un Max de la série M reste véloce autour de 174 tok/s, bien plus rapide qu'un modèle dense de 30B ne le serait jamais sur le même matériel. En CPU seul sur DDR5, on tombe à environ 25 tok/s : exploitable pour des traitements par lots, mais pas pour du chat interactif. Le contexte de 128K est bien réel, mais surveillez le budget : le remplir fait monter la mémoire totale à environ 49.1 GB. Sur une machine de 32 GB, gardez donc un contexte de travail modeste et appuyez-vous sur un quant plus petit plutôt que de viser la fenêtre complète.

Face à Gemma 4 31B, qui affiche un nombre quasi identique de 30,7 milliards de paramètres, le compromis est clair. Gemma est dense et ajoute le code et la vision : elle paraît donc plus solide sur le multimodal et le travail de code structuré, tandis que la conception clairsemée de Qwen 3 30B-A3B le rend nettement plus rapide par token pour le chat et le raisonnement dans cette catégorie de taille. Cette vitesse au regard de son empreinte mémoire est sa qualité marquante. Il est en outre distribué sous Apache 2.0 : contrairement aux licences open-weight propres à certains fournisseurs, vous pouvez donc l'utiliser librement en contexte commercial et en production, sans astérisque de licence.