Posso rodar o Qwen 3.5 35B-A3B?

O Qwen 3.5 35B-A3B é um modelo mixture-of-experts com um truque útil no centro: dos seus 35B de parâmetros totais, apenas cerca de 3B ficam ativos por token. Assim ele gera na velocidade de um modelo pequeno, mas recorrendo ao conhecimento de um grande. O problema é a memória. Você ainda mantém o modelo inteiro na RAM, então planeje pelo tamanho completo, não pela fatia ativa. Em 4-bit ele fica perto de 21 GB, e você quer pelo menos 32 GB de memória de sistema. Uma RTX 3060 de 12 GB não comporta o modelo, então na prática isto pede uma GPU de 24 GB ou uma máquina Apple Silicon com bastante memória.

Depois que ele cabe, o desenho MoE compensa e parece rápido para a sua categoria de peso. Numa RTX 4090 você vê por volta de 471 tokens por segundo, e num Apple M Max algo como 192, ambos rápidos o bastante para a resposta sair mais veloz que a sua leitura. Na CPU com DDR5 dá cerca de 28 tokens por segundo, lento mas utilizável para trabalho em lote. Ele dá conta de chat, raciocínio, programação e visão, com uma janela de contexto generosa de 256K. Mas cuidado com esse teto: em contexto de 128K o consumo total de memória sobe para cerca de 53.8 GB, então sessões de contexto longo precisam de uma máquina realmente grande, não só o suficiente para carregar os pesos.

Contra o Command R 35B, um modelo denso do mesmo tamanho que vale a comparação, a diferença real está na arquitetura MoE e não na contagem de parâmetros: mesmo tamanho nominal, mas o Qwen tende a rodar muito mais rápido por token porque só 3B ficam ativos. Essa relação entre velocidade e capacidade é o seu traço de destaque, entregando geração quase instantânea a partir de um modelo com o conhecimento de 35B, além do suporte multimodal de visão. Os menores Qwen 3 0.6B e 1.7B são a escolha se você tem pouca memória e só precisa de chat básico. O licenciamento é a parte fácil: Apache 2.0 significa que você pode usá-lo livremente, inclusive comercialmente e em produção, sem termos específicos do provedor para ler.