¿Puedo ejecutar Llama 3.2 3B?

Llama 3.2 3B es el modelo al que recurres cuando quieres un asistente de verdad en hardware que apenas nota que está corriendo. Con cuantización de 4 bits ronda los 1.9 GB y solo pide unos 4 GB de RAM, así que cabe en prácticamente cualquier cosa: un portátil de gama de entrada, una placa tipo Raspberry con memoria suficiente, una GPU vieja de 6 GB, o cualquier Mac con Apple Silicon que tenga algo de margen. Si la familia 8B te resulta pesada para tu máquina, este es el escalón inferior que mantiene el chat realmente útil.

En el uso diario lo que más destaca es la velocidad. En una RTX 3060 puedes esperar unos 158 tokens por segundo, y una 4090 lo lleva hasta cerca de 442, mucho más rápido de lo que alcanzas a leer; incluso una CPU con DDR5 logra alrededor de 26 tok/s si no tienes ninguna GPU. La ventana de contexto de 128K aparece en la ficha, pero sé realista con la memoria: llenarla por completo dispara el uso total hasta unos 13 GB, muy por encima del consumo en reposo del modelo, así que en máquinas pequeñas mantén el contexto de trabajo en unos pocos miles de tokens.

Frente a su propia familia, Llama 3.2 3B cambia profundidad por tamaño. Llama 3.1 8B suele manejar mejor el razonamiento difícil y las instrucciones de varios pasos, mientras que el hermano 1B solo es la opción cuando vas realmente justo de memoria y puedes aceptar respuestas más flojas. El rasgo real del 3B es ser el Llama más pequeño que todavía se siente como un interlocutor de chat competente y no como un juguete. Una advertencia: se distribuye bajo la licencia Llama Community, que es de pesos abiertos pero arrastra los términos propios de Meta, así que no es código abierto sin más. Revisa esos términos antes de construir un producto sobre él.