Puis-je faire tourner Llama 3.2 3B ?

Llama 3.2 3B, c'est le modèle vers lequel on se tourne quand on veut un vrai assistant sur une machine qui remarque à peine qu'il tourne. En quantification 4-bit, il pèse environ 1.9 GB et ne réclame qu'à peu près 4 GB de RAM : il tient donc sur quasiment n'importe quoi, un portable d'entrée de gamme, une carte de type Raspberry Pi avec assez de mémoire, un vieux GPU 6 GB, ou n'importe quel Mac Apple Silicon ayant un peu de marge. Si la famille 8B vous semble lourde pour votre matériel, c'est le cran en dessous qui garde un chat réellement utile.

À l'usage quotidien, ce qui frappe, c'est la vitesse. Sur une RTX 3060, comptez environ 158 tokens par seconde, et une 4090 grimpe à près de 442, soit bien plus vite que vous ne pouvez lire ; même un CPU DDR5 tient autour de 26 tok/s si vous n'avez pas de GPU du tout. La fenêtre de contexte de 128K est annoncée, mais restez réaliste côté mémoire : la remplir entièrement pousse l'usage total à environ 13 GB, bien au-delà de l'empreinte au repos du modèle. Sur les petites machines, limitez donc le contexte de travail à quelques milliers de tokens.

Face à sa propre famille, Llama 3.2 3B échange la profondeur contre la taille. Llama 3.1 8B gère en général mieux le raisonnement difficile et les instructions en plusieurs étapes, tandis que la déclinaison 1B ne s'impose que si vous êtes vraiment à court de mémoire et acceptez des réponses plus faibles. Le vrai atout du 3B, c'est d'être le plus petit Llama qui donne encore l'impression d'un partenaire de discussion compétent plutôt que d'un jouet. Une réserve : il est distribué sous licence Llama Community, qui est open-weight mais impose les conditions propres à Meta — ce n'est donc pas du vrai open-source. Vérifiez ces conditions avant de bâtir un produit dessus.