Puis-je faire tourner Llama 3.1 8B ?

Llama 3.1 8B, c'est le modèle que la plupart des gens ont réellement en tête quand ils disent vouloir "faire tourner un LLM en local". En quantification 4 bits, il pèse autour de 4.9 GB, ce qui lui permet de tenir sans souci sur un GPU de 8 GB, de loger largement dans la mémoire unifiée de n'importe quel Mac Apple Silicon depuis le M1, et même de s'exécuter sur CPU si vous êtes patient. C'est cette combinaison d'empreinte réduite et de sorties vraiment utiles qui en a fait le point de départ par défaut pour l'auto-hébergement.

À l'usage quotidien, il paraît rapide et cohérent pour le chat, le résumé et un peu d'aide au code. Sur un GPU moderne de milieu de gamme, vous pouvez tabler sur bien plus de 40 tokens par seconde en 4 bits, assez vite pour que la réponse défile plus rapidement que vous ne lisez. La fenêtre de contexte de 128K est réelle, mais traitez-la comme un plafond plutôt qu'une altitude de croisière : la remplir fait grimper fortement la mémoire du cache KV, donc sur une carte de 8 GB vous voudrez garder le contexte de travail à quelques milliers de tokens, sauf à descendre vers une quantification plus petite.

Là où sa taille se ressent, c'est sur le raisonnement et le suivi d'instructions des prompts plus durs, en plusieurs étapes : des modèles 7-8B plus récents comme Qwen 3 8B ont tendance à le devancer sur les maths et les tâches structurées, tandis que Gemma 3 4B est le choix plus léger si la mémoire est serrée. L'atout de Llama 3.1 8B, c'est sa maturité : il dispose du support d'outillage le plus large, du plus grand nombre de builds quantifiés sur Hugging Face et Ollama, et du moins de surprises. Si vous voulez un seul modèle qui fonctionne tout simplement comme assistant local, c'est encore le choix par défaut sûr.