¿Puedo ejecutar Qwen3 Coder Next 80B-A3B?

Qwen3 Coder Next 80B-A3B es un especialista en programación construido como Mixture-of-Experts, y esa arquitectura lo explica todo. Tiene 80B de parámetros totales, pero solo activa 3B por token, así que corre mucho más rápido de lo que su tamaño sugiere, aunque sigue necesitando memoria para el modelo completo. En 4-bit ronda los 48.5 GB, lo que descarta cualquier GPU de consumo: no entra en una RTX 4090 de 24 GB, y menos aún en una 3060 de 12 GB. Su sitio realista es un Mac con Apple Silicon y memoria unificada de sobra, o una estación de trabajo con 64 GB o más de RAM del sistema. Planifica en torno al mínimo de 64 GB, no a los 3B activos.

En el uso diario el diseño MoE compensa. En un Apple M Max genera a unos 192 tokens por segundo, lo que se siente instantáneo para autocompletado de código y refactorización, e incluso la inferencia en CPU pura sobre DDR5 logra cerca de 28 tokens por segundo: lento, pero realmente usable para un modelo de este tamaño. La ventana de contexto de 256K es la característica estrella para trabajar sobre repositorios enteros, pero la memoria es la trampa: con 128K de contexto el consumo total sube hasta unos 95.8 GB. Tenlo presente antes de cargar una base de código enorme, porque es la caché KV, no los pesos, lo que te empujará al límite en una máquina de 64 GB.

Frente a las alternativas densas de su categoría de peso, como Llama 3.1 70B, este modelo en general cambia amplitud bruta por enfoque y velocidad en código: el enrutamiento MoE hace que responda más rápido que un modelo denso de 70B, especializándose en código en lugar de en conversación general, donde las variantes de chat más pequeñas de Qwen 3 encajan mejor. Su rasgo distintivo es esa relación velocidad-tamaño, logrando generación casi instantánea con un modelo de la clase de 80B. Y el extra práctico es la licencia: Apache 2.0, así que puedes usarlo libremente en trabajo comercial y de producción sin restricciones específicas del proveedor que tengas que revisar antes.