¿Puedo ejecutar Llama 3.1 8B?

Llama 3.1 8B es el modelo que la mayoría tiene en mente cuando dice que quiere "ejecutar un LLM en local". En cuantización de 4 bits ocupa alrededor de 4.9 GB, así que cabe sin problemas en una GPU de 8 GB, entra con holgura en la memoria unificada de cualquier Mac con Apple Silicon desde el M1 en adelante, e incluso corre en CPU si tienes paciencia. Esa combinación de huella reducida y resultados realmente útiles es lo que lo convirtió en el punto de partida por defecto para el self-hosting.

En el día a día se siente rápido y coherente para chat, resúmenes y ayuda ligera con código. En una GPU moderna de gama media puedes esperar bastante más de 40 tokens por segundo a 4 bits, lo bastante rápido como para que la respuesta se transmita más deprisa de lo que lees. La ventana de contexto de 128K es real, pero trátala como un techo y no como una altitud de crucero: llenarla dispara la memoria de la KV-cache, así que en una tarjeta de 8 GB conviene mantener el contexto de trabajo en unos pocos miles de tokens, a menos que bajes a una cuantización más pequeña.

Donde se nota su tamaño es en el razonamiento y el seguimiento de instrucciones en prompts más difíciles de varios pasos: modelos 7-8B más recientes como Qwen 3 8B suelen superarlo en matemáticas y tareas estructuradas, mientras que Gemma 3 4B es la opción más ligera si vas justo de memoria. La ventaja de Llama 3.1 8B es la madurez: tiene el soporte de herramientas más amplio, la mayor cantidad de builds cuantizados en Hugging Face y Ollama, y la menor cantidad de sorpresas. Si quieres un único modelo que simplemente funcione como asistente local, sigue siendo la opción segura por defecto.