Posso rodar o Gemma 4 E4B?

O Gemma 4 E4B é o modelo mixture-of-experts compacto do Google, e cai bem se você quer um assistente local que também lê imagens. O truque de um MoE é que só cerca de 4.5B dos seus 8B parâmetros são ativados por token, então ele roda na velocidade de um modelo bem menor, mas ainda precisa de espaço para o modelo inteiro na memória. Em 4 bits ele fica em torno de 4.9 GB, o que cabe numa placa de 12 GB como uma RTX 3060 com folga de sobra, e se encaixa tranquilamente na memória unificada de um Mac com Apple Silicon de 8 GB. Planeje para o modelo completo, não só para a fatia ativa.

No uso diário ele parece ágil. Numa RTX 3060 dá para esperar cerca de 112 tokens por segundo em 4 bits, e uma placa top de linha como a RTX 4090 leva isso para além de 300, mais rápido do que você consegue ler. No Apple Silicon, um M-Max fica perto de 128 tok/s, e até a CPU com DDR5 entrega uns 19 tok/s se você tiver paciência. A janela de contexto de 128K é real, mas custa caro: encha ela e a memória total sobe para cerca de 21.7 GB, bem acima do que só os pesos sugerem. Mantenha o contexto de trabalho em alguns milhares de tokens em hardware mais modesto e você fica confortável.

Frente ao Gemma 3 4B, o irmão mais leve da família, o E4B costuma entregar um resultado melhor mantendo uma pegada ativa igualmente pequena, e ambos lidam com visão, então ele é a escolha padrão mais acertada, a não ser que você esteja realmente sem memória. Seu ponto forte é justamente esse equilíbrio de velocidade e qualidade do MoE: chat e compreensão de imagens com a latência de um modelo pequeno. E a licença é a parte fácil. Apache 2.0 significa que você pode usá-lo livremente, inclusive comercialmente e em produção, sem amarras específicas do provedor. Isso faz dele um dos modelos locais mais simples para realmente colocar algo no ar.