Posso rodar o Qwen3 Coder Next 80B-A3B?

O Qwen3 Coder Next 80B-A3B é um especialista em programação construído como Mixture-of-Experts, e essa arquitetura é o ponto central da história. Ele tem 80B de parâmetros no total, mas ativa apenas 3B por token, então roda bem mais rápido do que o tamanho sugere, ainda que precise de memória para o modelo inteiro. Em 4-bit, fica em torno de 48.5 GB, o que descarta qualquer GPU de consumidor: não cabe numa RTX 4090 de 24 GB, muito menos numa 3060 de 12 GB. O lugar realista para ele é um Mac com Apple Silicon e bastante memória unificada, ou uma workstation com 64 GB ou mais de RAM de sistema. Planeje em cima do mínimo de 64 GB, não dos 3B ativos.

No uso diário, o design MoE compensa. Num Apple M Max ele gera a cerca de 192 tokens por segundo, o que parece instantâneo para autocompletar e refatorar código, e até a inferência puramente em CPU com DDR5 alcança uns 28 tokens por segundo, lenta mas genuinamente usável para um modelo deste tamanho. A janela de contexto de 256K é o recurso de destaque para trabalhar em repositórios inteiros, mas a memória é a pegadinha: com 128K de contexto, o consumo total sobe para cerca de 95.8 GB. Tenha isso em mente antes de carregar uma base de código enorme, porque é o cache KV, e não os pesos, que vai te empurrar para o limite numa máquina de 64 GB.

Frente às alternativas densas da mesma faixa de peso, como o Llama 3.1 70B, este modelo geralmente troca abrangência bruta por foco em código e velocidade: o roteamento MoE faz com que ele responda mais rápido que um modelo denso de 70B, especializando-se em código em vez de conversa geral, terreno em que as variantes menores de chat do Qwen 3 se encaixam melhor. Seu traço marcante é essa relação velocidade/tamanho, entregando geração quase instantânea a partir de um modelo da classe 80B. E o bônus prático é a licença: Apache 2.0, então você pode usá-lo livremente em trabalho comercial e em produção, sem restrições específicas de provedor para ler antes.