Puis-je faire tourner QwQ 32B ?

QwQ 32B est le spécialiste du raisonnement d'Alibaba, pas un modèle de chat généraliste, et ce cadrage compte avant de télécharger quoi que ce soit. C'est un modèle dense de 32,8 milliards de paramètres qui réfléchit à voix haute via de longues chaînes avant de répondre, ce qui le rend solide en maths et sur les problèmes à étapes multiples, mais lent et verbeux pour les questions rapides. En quantification 4 bits, il pèse environ 19.9 GB, donc la RTX 3060 de 12 GB ne pourra tout simplement pas le contenir. Concrètement, il faut 32 GB de mémoire système ou unifiée pour l'exécuter, ce qui le place sur des stations de travail, des GPU de 24 GB ou de l'Apple Silicon haut de gamme, plutôt que sur une carte de jeu classique.

À l'usage quotidien, il paraît posé plutôt que vif. Sur une RTX 4090, attendez-vous à environ 43 tokens par seconde en 4 bits, ce qui semble correct jusqu'à ce que vous vous rappeliez que ce modèle passe l'essentiel de ces tokens à raisonner avant d'atteindre une réponse : une seule requête difficile peut donc tourner un bon moment. Sur un Apple M Max, cela tombe à environ 18 tokens par seconde, et sur un CPU DDR5, cela rampe autour de 3 tokens par seconde. Le contexte de 128K est réel, mais le pousser à la limite fait grimper la mémoire totale autour de 51.6 GB, bien au-delà du plancher de 32 GB ; gardez donc un contexte de travail modeste, sauf si vous avez la marge.

Face à DeepSeek R1 32B, l'autre modèle de raisonnement dense en 32B ici, les deux sont proches en empreinte et en intention, et le gagnant dépend plutôt de la tâche précise que d'un net avantage généralisé : il vaut la peine d'essayer les deux. Si vous n'avez que quelques gigaoctets, les petits modèles de chat Qwen 3 0.6B ou 1.7B sont un outil complètement différent, parfaits pour des réponses rapides mais pas pour le raisonnement profond pour lequel QwQ est conçu. La grande force de QwQ est d'offrir un raisonnement pas à pas digne des modèles de pointe à une taille auto-hébergeable, et étant sous Apache 2.0, il est libre d'usage commercial sans contraintes de licence.