Posso rodar o Qwen 3.5 122B-A10B?

O Qwen 3.5 122B-A10B é um modelo grande do tipo mixture-of-experts para quem quer chat, raciocínio, código e visão de nível de ponta no próprio hardware. O design MoE é o ponto central: dos seus 122B de parâmetros totais, apenas 10B são ativados por token, então ele gera respostas muito mais rápido do que um modelo denso desse tamanho conseguiria. O problema é a memória, porque você ainda precisa manter o modelo inteiro carregado. Em um quant de 4 bits isso dá cerca de 74 GB, e você precisa de aproximadamente 96 GB de RAM só para carregá-lo. Na prática, isso significa uma workstation com bastante memória ou um Mac com Apple Silicon e muita memória unificada; ele não cabe em uma RTX 4090 de 24 GB, muito menos em uma placa de 12 GB.

Onde ele de fato cabe, parece surpreendentemente ágil para o seu tamanho, graças a esses 10B de parâmetros ativos. Em um M Max, dá para esperar cerca de 57 tokens por segundo, rápido o suficiente para ler com conforto enquanto a resposta aparece, enquanto uma máquina só com CPU e DDR5 cai para cerca de 8 tokens por segundo e se presta mais a trabalho em lote do que a chat ao vivo. A janela de contexto chega a 256K, mas trate isso como um teto. A memória cresce conforme o que você realmente preenche, e com 128K de contexto o consumo total sobe para cerca de 131 GB, ou seja, os números de contexto longo pressupõem uma máquina feita para isso.

Posicionado contra o Devstral 2 123B, que fica em uma contagem de parâmetros quase igual, o Qwen 3.5 em geral troca o foco bruto em código por amplitude: cobre chat, raciocínio e visão em um único modelo, em vez de se especializar. Essa versatilidade é o seu maior trunfo, e os irmãos menores Qwen 3 0.6B e 1.7B continuam sendo a escolha sensata quando você só precisa de chat leve em hardware modesto. A licença é Apache 2.0, então você pode usá-lo comercialmente e em produção sem restrições, algo raro nesse nível de capacidade e um motivo real para escolhê-lo em vez de pesos mais limitados.