Posso rodar o Qwen3-Next 80B-A3B?

O Qwen3-Next 80B-A3B é um modelo mixture-of-experts da Alibaba, e o número de destaque engana de um jeito útil: ele tem 80B de parâmetros no total, mas roteia apenas cerca de 3B por token. Na prática, ele gera texto na velocidade de um modelo minúsculo enquanto ainda recorre ao conhecimento de um modelo grande. O problema é a memória. Você ainda precisa manter tudo carregado em RAM ou VRAM, então mesmo num quant de 4 bits em torno de 48.5 GB você precisa de pelo menos 64 GB para rodá-lo, o que descarta GPUs de consumo isoladas e aponta para uma máquina com bastante memória.

Na prática, este é um modelo para Apple Silicon ou workstation, não para GPU de jogos. Num M Max com memória unificada suficiente, ele entrega cerca de 192 tokens por segundo, o que é genuinamente rápido para um modelo da classe 80B e a principal razão pela qual as pessoas o escolhem. Uma RTX 3060 de 12 GB ou uma RTX 4090 de 24 GB simplesmente não conseguem carregá-lo. Se você estiver na CPU com DDR5, ainda dá para rodá-lo a cerca de 28 tokens por segundo, mais lento, mas viável para tarefas em lote. O contexto de 256K é real, mas é faminto: avançar rumo a 128K pode levar a memória total para perto de 95.8 GB, então planeje uma folga antes de enchê-lo.

Contra o Llama 3.1 70B, a comparação densa óbvia, o Qwen3-Next tende a parecer bem mais rápido para o seu tamanho, porque apenas 3B de parâmetros ficam ativos a cada passo, enquanto o Llama precisa rodar todos os 70B. A qualidade em chat e raciocínio é competitiva, embora modelos densos de 70B ainda possam levar vantagem nos prompts de múltiplos passos mais difíceis. Seu traço marcante é essa relação velocidade-por-tamanho: a amplitude de um modelo grande com a latência de um pequeno, se você tiver memória para hospedá-lo. A licença é Apache 2.0, então você é livre para usá-lo comercialmente e em produção, sem amarras específicas do provedor.