Posso rodar o Gemma 4 E2B?

O Gemma 4 E2B é o pequeno modelo mixture-of-experts do Google, e o detalhe interessante está na conta: ele tem 5.1B de parâmetros no total, mas ativa apenas cerca de 2.3B por token. Na prática, ele roda na velocidade de um modelo bem menor, embora ainda precise de memória para carregar tudo. Um quant de 4 bits fica em torno de 3.1 GB, e você vai querer no mínimo uns 6 GB de RAM para acomodar o conjunto completo de pesos. Isso cabe numa GPU de entrada de 8 GB ou em qualquer Mac com Apple Silicon com folga, e ele lida tanto com chat quanto com visão, então dá para mandar imagens, não só texto.

No uso diário, o truque dos parâmetros ativos compensa em throughput puro. Numa RTX 3060 12GB ele atinge cerca de 219 tokens por segundo em 4 bits, e uma RTX 4090 passa de 600; um M-series Max fica perto de 250. As respostas saem muito mais rápido do que você consegue ler. O contexto de 128K é a pegadinha a ficar de olho: se você enchê-lo, a memória total sobe para uns 16.8 GB, bem acima dos 6 GB necessários em contexto curto. Numa placa pequena, mantenha o contexto de trabalho em alguns milhares de tokens, ou o KV cache vai acabar maior que o próprio modelo.

Dentro da própria família, o Gemma 3 4B é a alternativa densa caso você prefira não lidar com a pegada de memória do MoE, e o Qwen 3 4B costuma levar vantagem em raciocínio de múltiplas etapas, já que esse é o foco declarado dele. O destaque do Gemma 4 E2B é a relação velocidade-capacidade somada à visão nativa num pacote tão leve, algo raro nesse tamanho. Ele é Apache 2.0, então, ao contrário dos termos mais antigos do Gemma do Google, você pode usá-lo comercialmente em produção sem nenhuma licença especial para ler. Baixe com ollama run gemma4:e2b e está pronto.