Posso rodar o Qwen 3 8B?

O Qwen 3 8B é o modelo que você escolhe quando quer um assistente local que realmente consegue raciocinar um pouco, não só conversar. Em 4-bit ele fica em torno de 5 GB, então cabe numa GPU de 8 GB, e o mínimo de 8 GB de RAM significa que um Mac com Apple Silicon de entrada ou um desktop modesto consegue rodá-lo sem dor de cabeça. O grande destaque é o modo de pensamento híbrido: ele pode gastar tokens extras raciocinando sobre um problema antes de responder, e é por isso que muita gente o prefere a modelos de chat puros na mesma classe de 8B.

No dia a dia ele parece rápido. Numa RTX 3060 12GB você obtém cerca de ~62 tok/s, num M-series Max algo perto de ~70 tok/s, e uma RTX 4090 leva a uns ~172 tok/s, tudo rápido o bastante para a resposta sair mais veloz do que você lê. Só de CPU em DDR5 cai para uns ~10 tok/s, ok para trabalho em lote, mas não para uso interativo. O contexto de 128K é real, mas cuidado: enchê-lo até o limite empurra a memória total para cerca de 22 GB, muito além do que uma placa de 8 GB comporta, então mantenha o contexto de trabalho modesto a menos que tenha folga ou use a build q2 de 3.4 GB.

Contra o Granite 3.3 8B, um modelo aberto de tamanho parecido voltado principalmente para chat, o Qwen 3 8B costuma levar vantagem em raciocínio de múltiplas etapas e matemática graças ao seu modo de pensamento, enquanto o Granite tende a soar mais conversacional. Seu traço mais marcante é justamente esse botão de raciocínio num pacote tão pequeno. E a licença é a parte fácil: Apache 2.0 significa que você pode usá-lo comercialmente e em produção, sem amarras específicas do provedor, algo mais raro do que deveria ser nesse tamanho.