¿Puedo ejecutar Qwen3-Next 80B-A3B?

Qwen3-Next 80B-A3B es un modelo de mezcla de expertos (MoE) de Alibaba, y la cifra que más destaca despista de una forma útil: tiene 80B de parámetros en total, pero solo enruta unos 3B por token. Eso significa que genera a la velocidad de un modelo diminuto mientras aprovecha el conocimiento de uno grande. El problema es la memoria. Tienes que mantener el modelo completo en RAM o VRAM, así que incluso con una cuantización de 4 bits de unos 48.5 GB necesitas al menos 64 GB para ejecutarlo, lo que descarta las GPU de consumo individuales y te empuja hacia una máquina con mucha memoria.

En la práctica este es un modelo para Apple Silicon o estaciones de trabajo, no para GPU de gaming. En un M Max con suficiente memoria unificada genera a unos 192 tokens por segundo, algo realmente rápido para un modelo de clase 80B y la razón principal por la que la gente lo elige. Una RTX 3060 de 12 GB o una RTX 4090 de 24 GB sencillamente no pueden cargarlo. Si trabajas en CPU con DDR5 aún puedes ejecutarlo a unos 28 tokens por segundo, más lento pero suficiente para tareas por lotes. El contexto de 256K es real, pero consume mucho: acercarte a 128K puede llevar la memoria total a unos 95.8 GB, así que reserva margen antes de llenarlo.

Frente a Llama 3.1 70B, la comparación densa más obvia, Qwen3-Next tiende a sentirse mucho más rápido para su tamaño porque solo 3B de parámetros están activos en cada paso, mientras que el Llama tiene que ejecutar los 70B completos. La calidad en chat y razonamiento es competitiva, aunque los modelos densos de 70B aún pueden llevar ventaja en los prompts más difíciles de varios pasos. Su rasgo distintivo es esa relación velocidad-tamaño: amplitud de modelo grande con latencia de modelo pequeño, si tienes la memoria para alojarlo. La licencia es Apache 2.0, así que puedes usarlo comercialmente y en producción sin condiciones atadas a un proveedor.