Posso rodar o QwQ 32B?

O QwQ 32B é o especialista em raciocínio da Alibaba, não um modelo genérico de chat, e entender isso importa antes de baixar qualquer coisa. É um modelo denso de 32.8B de parâmetros que pensa em voz alta, percorrendo longas cadeias antes de responder, o que o torna forte em matemática e problemas de várias etapas, mas lento e prolixo para perguntas rápidas. Em quantização de 4 bits ele fica em torno de 19.9 GB, então a RTX 3060 de 12 GB simplesmente não dá conta. Na prática, você quer 32 GB de memória de sistema ou unificada só para rodá-lo, o que o coloca no território de workstations, GPUs de 24 GB ou Apple Silicon de ponta, e não de uma placa gamer comum.

No dia a dia ele parece deliberado, não ágil. Numa RTX 4090 dá para esperar cerca de 43 tokens por segundo em 4 bits, o que soa bom até você lembrar que esse modelo gasta a maior parte desses tokens raciocinando antes de chegar à resposta, então um único prompt difícil pode rodar por um bom tempo. Num Apple M Max cai para uns 18 tokens por segundo, e numa CPU com DDR5 ele se arrasta perto de 3 tokens por segundo. O contexto de 128K é real, mas levá-lo ao limite eleva a memória total para cerca de 51.6 GB, bem acima do piso de 32 GB, então mantenha o contexto de trabalho modesto a menos que você tenha folga.

Frente ao DeepSeek R1 32B, o outro reasoner denso de 32B aqui, os dois são parecidos em pegada e propósito, e qual leva a melhor costuma depender da tarefa específica, sem nenhuma vantagem clara e geral, então vale testar os dois. Se você só tem alguns gigabytes, os modelinhos de chat Qwen 3 0.6B ou 1.7B são uma ferramenta totalmente diferente, ótimos para respostas rápidas, mas não para o raciocínio profundo para o qual o QwQ foi feito. O grande diferencial do QwQ é entregar raciocínio passo a passo de nível de fronteira num tamanho que você pode hospedar por conta própria, e, por ser Apache 2.0, é livre para uso comercial, sem amarras de licenciamento.