Posso rodar o Granite 3.3 8B?

O Granite 3.3 8B é a aposta da IBM na disputada categoria de modelos de chat de 8B, e mira direto em quem quer um assistente local confiável para colocar de verdade em produção. Com 8,2 bilhões de parâmetros, ele fica em torno de 5 GB num quant de 4 bits, então cabe numa GPU de 8 GB, roda na memória unificada de qualquer Mac com Apple Silicon, e o mínimo de 8 GB de RAM significa que está ao alcance de hardware bem comum. Se precisar de algo ainda menor, a versão de 2 bits cai para cerca de 3,4 GB, embora você abra mão de qualidade nessa troca.

No dia a dia, a sensação é de rapidez e estabilidade para chat. Numa RTX 3060 12 GB você verá por volta de 62 tokens por segundo em 4 bits, bem mais rápido do que você lê, e uma RTX 4090 leva isso a aproximadamente 172 tok/s. Um chip M-series Max fica perto de 70 tok/s, enquanto rodar só em CPU com DDR5 chega a algo como 10 tok/s, melhor reservado para tarefas pacientes em segundo plano. A janela de contexto de 128K é real, mas trate-a como um teto: enchê-la por completo empurra a memória total para cerca de 22 GB, então numa placa de 8 GB mantenha o contexto de trabalho em poucos milhares de tokens.

Comparado aos concorrentes, o Granite 3.3 8B é o cavalo de batalha, não o destaque. O Qwen 3 8B, praticamente idêntico em tamanho, costuma levar vantagem em prompts que exigem raciocínio pesado e múltiplas etapas, e se você precisa de força real para programação, o bem maior Granite 4.0 H Small é a escolha mais adequada. O que este modelo oferece, em vez disso, é clareza de licenciamento: ele é Apache 2.0, ou seja, você pode usá-lo comercialmente e em produção sem amarras específicas do fornecedor. Para uma empresa que quer um modelo de chat pequeno e previsível, pronto para implantar sem dúvidas jurídicas, essa abertura é o verdadeiro atrativo.