Posso rodar o Gemma 4 31B?

O Gemma 4 31B é o modelo open-weight de porte médio-grande do Google, com 30.7B de parâmetros, feito para chat, programação, raciocínio e visão num só pacote. Não é um modelo de pegar o notebook e sair usando. Em quantização de 4 bits ele ocupa cerca de 18.6 GB, e você precisa de pelo menos 32 GB de RAM só para carregá-lo, então uma placa de 12 GB como a RTX 3060 simplesmente não comporta. O lar realista para ele é uma GPU de 24 GB, como uma RTX 4090, ou um Mac com Apple Silicon e bastante memória unificada. Se você quer um modelo versátil e capaz e tem o hardware, é nesse patamar que os modelos locais começam a se tornar de fato úteis.

No dia a dia ele é confortável, mais do que veloz. Numa RTX 4090 dá para esperar cerca de 46 tokens por segundo em 4 bits, rápido o suficiente para acompanhar a leitura enquanto ele gera; num Apple M Max fica mais perto de 19 tokens por segundo, ainda tranquilo para uso interativo. Só na CPU com DDR5 cai para uns 3 tokens por segundo, território de paciência pura. A janela de contexto de 256K é generosa, mas custa caro: chegar perto de 128K já consome cerca de 49.3 GB de memória total, então trate a janela completa como um teto e mantenha o contexto de trabalho modesto, a menos que tenha folga de sobra.

Contra o Qwen 3 30B-A3B, um irmão quase idêntico de 30.5B, a troca é arquitetural: o design mixture-of-experts do Qwen tende a rodar mais leve por token, enquanto o Gemma 4 31B é um modelo denso que usa todo o seu peso a cada passagem e em geral se sai mais consistente em visão e em seguir instruções amplas. Se você quer algo bem menor, o Gemma 3 4B é a escolha mais leve. O destaque aqui é a abrangência: um único modelo cobrindo chat, código, raciocínio e imagens, sob uma licença Apache 2.0 limpa que você pode usar comercialmente e em produção, sem restrições específicas de provedor.