¿Puedo ejecutar Qwen 3 0.6B?

Qwen 3 0.6B es un modelo genuinamente diminuto, y esa es justamente la idea. En 4 bits ocupa unos 0.4 GB, e incluso una versión q8 son apenas 0.6 GB, así que cabe en 2 GB de RAM con espacio de sobra. Eso significa que corre prácticamente en cualquier cosa: un portátil viejo, una placa tipo Raspberry Pi, un teléfono o un rincón de cualquier GPU moderna. Piénsalo como el modelo al que recurres cuando quieres generación de texto local en hardware que no tendría por qué mover un LLM, no como un asistente que lo hace todo.

En el día a día, su rasgo más destacado es la velocidad pura. En una RTX 3060 alcanza alrededor de 841 tok/s, un M-series Max ronda los 958 y una 4090 llega a unos 2355 tok/s, mucho más rápido de lo que puedes leer y suficiente para meterlo en bucles ajustados o trabajos por lotes. Incluso en una CPU con DDR5 obtienes unos 140 tok/s, perfectamente usables. La ventana de contexto de 32K es real, y como todo se mantiene pequeño, un contexto de 32K completamente lleno solo necesita unos 1.7 GB en total, así que rara vez tienes que preocuparte por la presión de la KV-cache aquí.

Sé honesto contigo mismo sobre el compromiso: con 0.6B de parámetros es un modelo de chat, no un razonador. Para cualquier cosa multipaso, estructurada o con mucho código, Qwen 3 4B de la misma familia suele sacarle bastante ventaja, e incluso Qwen 3 1.7B tiende a seguir instrucciones de forma más fiable. Frente a Gemma 3 1B es la opción más ligera y rápida, aunque ambos se mueven en un terreno parecido para chat sencillo. Su verdadera ventaja es la combinación de tamaño reducido y velocidad, y la licencia ayuda: Apache 2.0 significa que puedes usarlo libremente, incluso de forma comercial, sin ataduras específicas del proveedor.