Puis-je faire tourner Qwen 2.5 Coder 32B ?

Qwen 2.5 Coder 32B est le modèle de code dédié d'Alibaba, et c'est celui vers lequel on se tourne quand on veut un assistant local capable de rivaliser réellement avec les outils hébergés sur du vrai travail de programmation. Avec ses 32,8 milliards de paramètres, ce n'est pas un téléchargement anodin : une quantification en 4 bits pèse environ 19.9 GB, et il faut au moins 32 GB de RAM pour le charger. Cela exclut totalement une RTX 3060 de 12 GB, où il ne tient tout simplement pas. Ses environnements réalistes sont une carte de 24 GB ou un Mac Apple Silicon doté d'une mémoire unifiée généreuse.

À l'usage quotidien, il paraît posé plutôt que vif, et l'écart matériel se fait sentir. Sur une RTX 4090, vous pouvez tabler sur environ 43 tok/s en 4 bits, assez rapide pour que le code défile confortablement au fil de la lecture. Une puce M-series Max tourne plus près de 18 tok/s, utilisable mais nettement plus patient, et un repli sur CPU DDR5 autour de 3 tok/s ne convient vraiment qu'aux traitements par lots nocturnes. Le contexte de 128K est réellement utile pour ingérer des fichiers entiers, mais il a un coût : pousser jusqu'à la fenêtre complète fait grimper la mémoire totale vers 51.6 GB, alors gardez un contexte de travail modeste si vous n'avez pas la marge.

Face à DeepSeek R1 32B, qui affiche la même taille de 32,8 milliards de paramètres, la différence tient à l'intention : R1 est un modèle de raisonnement qui réfléchit à voix haute, tandis que Qwen 2.5 Coder se montre généralement plus direct et concis sur la génération et la complétion de code pures. Son atout majeur, c'est précisément cette spécialisation en code à une taille que l'on peut encore auto-héberger sur un seul bon GPU. Et la licence est la partie facile : Apache 2.0 signifie que vous pouvez l'utiliser librement, y compris en usage commercial et en production, sans aucune contrainte propre au fournisseur.