¿Puedo ejecutar QwQ 32B?

QwQ 32B es el especialista en razonamiento de Alibaba, no un modelo de chat genérico, y conviene tenerlo claro antes de descargar nada. Es un modelo denso de 32.8B parámetros que razona en voz alta a través de largas cadenas antes de responder: eso lo hace fuerte en matemáticas y problemas de varios pasos, pero lento y prolijo para preguntas rápidas. En cuantización de 4 bits ronda los 19.9 GB, así que la RTX 3060 de 12 GB sencillamente no lo aloja. En la práctica necesitas 32 GB de memoria del sistema o unificada para siquiera ejecutarlo, lo que lo sitúa en el terreno de estaciones de trabajo, GPU de 24 GB o Apple Silicon de gama alta, no de una tarjeta de gaming típica.

En el uso diario se siente deliberado más que ágil. En una RTX 4090 puedes esperar unos 43 tokens por segundo a 4 bits, lo que suena bien hasta que recuerdas que este modelo gasta la mayoría de esos tokens razonando antes de llegar a una respuesta, así que un solo prompt difícil puede tardar un buen rato. En un Apple M Max baja a unos 18 tokens por segundo, y en una CPU con DDR5 se arrastra cerca de 3 tokens por segundo. El contexto de 128K es real, pero llevarlo al límite eleva la memoria total a unos 51.6 GB, muy por encima del piso de 32 GB, así que mantén el contexto de trabajo modesto salvo que tengas margen de sobra.

Frente a DeepSeek R1 32B, el otro razonador denso de 32B aquí, ambos son parecidos en huella e intención, y cuál gana suele depender de la tarea concreta más que de una ventaja limpia y general, así que vale la pena probar los dos. Si solo dispones de unos pocos gigabytes, los pequeños modelos de chat Qwen 3 0.6B o 1.7B son una herramienta completamente distinta, buenos para respuestas rápidas pero no para el razonamiento profundo para el que QwQ está construido. El rasgo distintivo de QwQ es ofrecer razonamiento paso a paso de nivel frontera en un tamaño que puedes autoalojar, y al ser Apache 2.0 es de uso libre comercialmente, sin ataduras de licencia.