Posso rodar o Granite 4.0 H Small?

O Granite 4.0 H Small é o modelo mixture-of-experts da IBM: 32B de parâmetros no papel, mas só cerca de 9B ativos por token. Essa divisão explica tudo. Ele roda rápido para o tamanho porque cada token toca uma fração dos pesos, mas você ainda precisa manter o modelo inteiro na memória, então planeje pelo mínimo de 32 GB, não pela contagem ativa. Em quantização de 4 bits ele fica em torno de 19.4 GB, o que descarta de vez uma placa de 12 GB como a RTX 3060 e te empurra para uma GPU de 24 GB ou um Mac com Apple Silicon e bastante memória unificada. O foco é chat e programação, não brincar à toa num notebook.

Numa RTX 4090 ele anda a cerca de 157 tokens por segundo, bem acima da velocidade de leitura, o que torna as sessões interativas de programação agradáveis. Num M-series Max você fica em torno de 64 tok/s, ainda confortável, e em CPU pura com DDR5 cai para uns 9 tok/s, útil para jobs em lote, mas não para chat ao vivo. O contexto de 128K é real, porém caro: se você preenchê-lo, a memória total sobe para cerca de 50.7 GB, então numa placa de 24 GB você não consegue chegar perto do teto. Mantenha o contexto de trabalho enxuto, a menos que tenha um Mac de 64 GB sobrando.

Frente ao Qwen 3 32B, um modelo denso de tamanho total parecido, o Granite costuma pesar menos no hardware graças ao design MoE, embora o Qwen 3 tenda a levar vantagem em raciocínio mais pesado, já que ativa todos os parâmetros a cada token. Se você quer algo menor e mais simples, o denso Granite 3.3 8B se encaixa melhor em GPUs modestas. O grande trunfo do Granite 4.0 H Small é ser um modelo da classe 32B realmente rápido que você consegue de fato hospedar por conta própria, e ele vem sob a licença Apache 2.0, então você pode usá-lo comercialmente sem preocupações de licença.