¿Puedo ejecutar SmolLM2 1.7B?

SmolLM2 1.7B es para cuando Llama 8B se queda grande: un modelo de chat verdaderamente diminuto que puedes ejecutar casi en cualquier parte. En 4 bits pesa alrededor de 1 GB, y solo necesitas unos 3 GB de RAM para cargarlo con espacio de trabajo, así que corre en una Mac M1 básica, un portátil económico, una placa tipo Raspberry Pi o cualquier teléfono moderno con algo de holgura. Tiene licencia Apache 2.0, lo que significa que puedes usarlo comercialmente y en producción sin ataduras del proveedor. Piénsalo como el modelo que integras en tus apps, no el que usas para chatear todo el día.

En el uso diario lo que más destaca es el rendimiento bruto. En una RTX 3060 alcanza unos ~297 tok/s, una M Max llega a ~338 tok/s y una 4090 ronda los ~831 tok/s, mucho más rápido de lo que puedes leer. Incluso en una CPU DDR5 normal logra unos ~49 tok/s, perfectamente usable para respuestas cortas sin GPU alguna. El verdadero límite es la ventana de contexto de 8K. Es pequeña para los estándares actuales, así que va bien para preguntas sueltas, clasificación y resúmenes cortos, pero no aguanta un documento largo. La memoria aquí no es problema: incluso llenando los 8K solo llega a unos 1.5 GB en total.

Sé honesto sobre lo que te da 1.7B. Maneja chat ligero, formateo y seguir instrucciones simples, pero se queda corto en razonamiento de varios pasos y tareas de programación más largas. Qwen 3 1.7B suele superarlo en prompts más difíciles y estructurados, y DeepSeek R1 1.5B tiende a rendir mejor cuando de verdad necesitas razonamiento encadenado (chain-of-thought) en lugar de respuestas rápidas. Frente a Llama 3.2 1B cambia un poco de peso extra por una salida más estable. Su rasgo más fuerte es la eficiencia: un asistente totalmente abierto y usable comercialmente que corre rápido en hardware que nada más con esta capacidad podría aprovechar. Recurre a él cuando el tamaño importa más que la profundidad.