Posso rodar o Gemma 4 26B A4B?

O Gemma 4 26B A4B é a aposta da Google em mixture-of-experts, e o segredo está no nome: ele tem 25.2B de parâmetros no total, mas roteia apenas 3.8B por token. Na prática, ele gera na velocidade de um modelo pequeno, mas precisa de memória para o pacote inteiro. Em quantização de 4 bits fica em torno de 15.3 GB, e você quer pelo menos 24 GB de RAM para carregá-lo com folga. Isso descarta uma placa de 12 GB como a RTX 3060, onde ele simplesmente não cabe, e aponta para uma GPU de 24 GB ou uma máquina Apple Silicon com memória unificada generosa.

No uso diário, o design MoE compensa. Numa RTX 4090 ele roda a cerca de 372 tokens por segundo, bem além do ponto em que o texto sai mais rápido do que você consegue ler, e um chip M-series Max ainda entrega uns 151 tok/s. Só na CPU com DDR5 cai para uns 22 tok/s, suficiente para trabalho em lote, mas não para chat interativo. A janela de contexto é generosa, 256K, mas trate isso como um teto: com 128K de contexto o consumo total de memória sobe para cerca de 43.4 GB, então num setup de 24 GB você mantém o contexto de trabalho modesto, a menos que recorra ao build q2 de 10.6 GB.

Comparado ao Mistral Small 3.1 24B, um modelo de visão denso de tamanho parecido, o Gemma 4 costuma parecer mais ágil por token graças ao roteamento esparso, embora modelos densos dessa categoria possam levar vantagem no raciocínio mais difícil de passagem única. Seu destaque é justamente essa relação velocidade-por-capacidade, somada a suporte real a visão e a programação no mesmo pacote. A licença é Apache 2.0, então você pode usá-lo comercialmente e em produção sem restrições específicas do provedor, o que é raro nesse tamanho e um ponto de verdade a seu favor. Baixe com o ollama como gemma4:26b.