¿Puedo ejecutar Qwen 2.5 Coder 32B?

Qwen 2.5 Coder 32B es el modelo de programación creado a propósito por Alibaba, y es al que recurre la gente cuando quiere un asistente local que realmente compita con las herramientas en la nube en trabajo de programación real. Con 32.8B de parámetros no es una descarga casual: una cuantización de 4 bits ronda los 19.9 GB y necesitas al menos 32 GB de RAM para cargarlo. Eso descarta por completo una RTX 3060 de 12 GB, donde sencillamente no cabe. Sus hogares realistas son una tarjeta de 24 GB o un Mac con Apple Silicon y memoria unificada de sobra.

En el uso diario se siente pausado más que ágil, y la diferencia de hardware se nota. En una RTX 4090 puedes esperar alrededor de 43 tok/s a 4 bits, lo bastante rápido como para que el código fluya cómodamente mientras lees. Un M-series Max se queda más cerca de 18 tok/s, usable pero con un trabajo notablemente más paciente, y un repliegue a CPU con DDR5 a unos 3 tok/s sirve en realidad solo para tareas por lotes que dejas corriendo de noche. El contexto de 128K es genuinamente útil para meter archivos enteros, pero no sale gratis: llevarlo a la ventana completa empuja la memoria total hacia los 51.6 GB, así que mantén el contexto de trabajo moderado salvo que tengas margen de sobra.

Frente a DeepSeek R1 32B, que está en el mismo tamaño de 32.8B, la diferencia es de propósito: R1 es un modelo de razonamiento que piensa en voz alta, mientras que Qwen 2.5 Coder suele sentirse más directo y al grano en la generación y el autocompletado de código puro. Su rasgo distintivo es justamente ese enfoque en programación a un tamaño que todavía puedes autoalojar en una sola GPU buena. Y la licencia es la parte fácil: Apache 2.0 significa que puedes usarlo libremente, incluido uso comercial y en producción, sin condiciones específicas del proveedor.