Puis-je faire tourner Qwen 3 8B ?

Qwen 3 8B, c'est le modele vers lequel on se tourne quand on veut un assistant local capable de vraiment reflechir un peu, et pas seulement de discuter. En 4-bit, il pese environ 5 GB, donc il tient sur un GPU de 8 GB, et le minimum de 8 GB de RAM signifie qu'un Mac Apple Silicon de base ou un PC de bureau modeste peut l'heberger sans souci. Son atout phare, c'est son mode de raisonnement hybride : il peut consacrer des tokens supplementaires a derouler un probleme avant de repondre, ce qui explique pourquoi on le prefere aux simples modeles de chat de la meme categorie 8B.

Au quotidien, il est rapide. Sur une RTX 3060 12GB, vous obtenez environ 62 tokens par seconde, sur un Mac M-series Max autour de 70, et une RTX 4090 le pousse a environ 172, le tout assez vite pour que les reponses devancent votre lecture. En CPU seul sur de la DDR5, on tombe a environ 10 tok/s : correct pour du traitement par lots, mais pas pour de l'interactif. Le contexte de 128K est bien reel, mais attention : le remplir entierement fait monter la memoire totale a environ 22 GB, bien au-dela des 8 GB d'une petite carte. Gardez donc un contexte de travail raisonnable, sauf si vous avez de la marge ou si vous passez a la version q2 de 3.4 GB.

Face a Granite 3.3 8B, un modele ouvert de taille comparable surtout oriente chat, Qwen 3 8B a generalement l'avantage sur le raisonnement en plusieurs etapes et les maths grace a son mode de reflexion, tandis que Granite parait plus conversationnel. Sa caracteristique marquante, c'est ce basculement vers le raisonnement dans un format aussi compact. Et la licence est la partie facile : Apache 2.0 signifie que vous pouvez l'utiliser commercialement et en production sans contrainte propre au fournisseur, ce qui est plus rare que ca ne devrait l'etre a cette taille.