Puis-je faire tourner Qwen 3 0.6B ?

Qwen 3 0.6B est un modèle réellement minuscule, et c'est précisément tout son intérêt. En 4 bits, il pèse environ 0.4 GB, et même une version q8 ne fait que 0.6 GB : il tient donc dans 2 GB de RAM avec de la marge. Concrètement, il tourne sur à peu près n'importe quoi : un vieux portable, une carte de type Raspberry Pi, un téléphone, ou un coin de n'importe quel GPU moderne. Voyez-le comme le modèle que l'on sort pour faire de la génération de texte en local sur du matériel qui n'a aucune raison de faire tourner un LLM, et non comme un assistant à tout faire.

À l'usage quotidien, sa qualité marquante est la vitesse brute. Sur une RTX 3060, il pousse environ 841 tokens par seconde, une puce M-series Max se situe autour de 958, et une 4090 atteint à peu près 2355 tokens par seconde, soit bien plus vite que vous ne pouvez lire, et assez rapide pour s'intégrer dans des boucles serrées ou des traitements par lots. Même sur un CPU avec de la DDR5, vous obtenez environ 140 tok/s, parfaitement exploitable. La fenêtre de contexte de 32K est bien réelle, et comme l'ensemble reste léger, un contexte 32K entièrement chargé ne réclame qu'environ 1.7 GB au total : ici, vous n'avez quasiment jamais à vous soucier de la pression sur le cache KV.

Soyez honnête avec vous-même sur le compromis : avec ses 0.6B de paramètres, c'est un modèle de chat, pas un modèle de raisonnement. Pour tout ce qui est multi-étapes, structuré ou très orienté code, Qwen 3 4B, dans la même famille, prend généralement une nette avance, et même Qwen 3 1.7B suit les instructions de façon plus fiable. Face à Gemma 3 1B, il est l'option plus légère et plus rapide, même si les deux jouent dans la même cour pour du chat simple. Son vrai atout, c'est l'encombrement réduit allié à la vitesse, et la licence aide : Apache 2.0 signifie que vous pouvez l'utiliser librement, y compris à des fins commerciales, sans aucune contrainte propre au fournisseur.