Puis-je faire tourner Llama 3.1 70B ?

Llama 3.1 70B, c'est le modèle vers lequel on se tourne quand les assistants de la classe 8B montrent leurs limites et qu'on dispose d'une vraie machine à lui consacrer. En 4-bit, il pèse environ 42.8 GB, et le fait le plus important, c'est ce sur quoi il ne tient pas : une RTX 3060 de 12 GB et même une RTX 4090 de 24 GB sont hors course, car les poids seuls les débordent. Concrètement, il faut une machine d'au moins 64 GB, et un Mac Studio doté de beaucoup de mémoire unifiée reste le foyer le plus indolore pour le faire tourner sur un seul boîtier. Vous pouvez descendre à une quantification 2-bit autour de 29.6 GB si vous êtes à l'étroit, mais vous le payez en qualité.

À l'usage quotidien, il paraît posé plutôt que vif. Sur un Apple M-Max, comptez environ 8 tokens par seconde en 4-bit, lisible mais plus lent que votre débit de parole, et sur un CPU DDR5 il avance péniblement à environ 1 token par seconde, correct pour des traitements par lots et pas grand-chose de plus. La fenêtre de contexte de 128K est bien réelle, mais elle coûte cher ici : la remplir pousse la mémoire totale à environ 87.5 GB, bien au-delà du plancher de 64 GB. Gardez un contexte de travail modeste sauf si vous avez de la marge, sinon la machine commence à swapper et la vitesse déjà modeste s'effondre.

Au sein de sa propre famille, c'est le poids lourd : Llama 3.2 3B et 1B sont ceux qu'on fait réellement tourner sur un portable, tandis que le 70B est celui qu'on lance quand la qualité des réponses prime sur la vitesse. Si votre objectif réel, c'est le raisonnement étape par étape, un DeepSeek R1 70B de même taille prend généralement l'avantage sur cet axe précis, là où ce Llama est optimisé pour la conversation. Son atout majeur, c'est un outillage large et mature et des sorties généralistes fiables. Une réserve : la licence Llama Community est à poids ouverts, pas open-source, alors vérifiez les conditions de Meta avant de l'intégrer dans un produit commercial.