Posso rodar o Qwen 3.6 35B-A3B?

O Qwen 3.6 35B-A3B é um modelo mixture-of-experts, e é justamente isso que define para quem ele serve. São 35B de parâmetros no total, mas apenas 3B ativos por token, então ele roda na velocidade de um modelo minúsculo enquanto exige a memória de um grande. Com quantização de 4 bits, os pesos ficam em torno de 21.2 GB, mas o modelo ainda precisa de no mínimo cerca de 32 GB de RAM para manter o conjunto completo de experts. Isso descarta uma placa de 12 GB como a RTX 3060, na qual ele não cabe. O lar natural dele é uma RTX 4090 de 24 GB ou um Mac com Apple Silicon e bastante memória unificada.

No uso diário, a conta dos 3B ativos compensa: numa 4090 você vê cerca de 471 tokens por segundo, e num M-series Max por volta de 192, mais rápido que a maioria dos modelos densos com um terço deste tamanho. Até a inferência em CPU com DDR5 chega a uns 28 tokens por segundo, viável para processamento em lote. Ele dá conta de chat, raciocínio, programação e visão, então se justifica como um único modelo local faz-tudo. A janela de contexto de 256K é generosa, mas a pegadinha é a memória: preencher só 128K já leva o consumo total para cerca de 53.8 GB, então trabalho com contexto longo pede uma máquina de 64 GB, não uma placa de 24 GB.

Comparado ao denso Command R 35B da mesma linhagem, este MoE em geral parece bem mais rápido no mesmo tamanho nominal, já que você paga pela memória de 35B mas computa como um 3B. O custo é o trade-off típico de MoE: um denso de 35B pode às vezes levar vantagem no raciocínio single-shot mais difícil, embora para a maior parte do trabalho a velocidade vença. Seu traço de destaque é essa relação entre velocidade e capacidade, somada à visão nativa num só pacote. A licença é Apache 2.0, então você é livre para usá-lo comercialmente e em produção, sem amarras do provedor.