Posso rodar o Gemma 3n E4B?

O Gemma 3n E4B é o modelo multimodal pequeno do Google, feito para chat e visão, e mira direto em quem quer um assistente local competente que também consiga enxergar imagens. No papel ele traz 7.8B de parâmetros, mas é um design mixture-of-experts: só cerca de 4B ativam por token, então ele roda bem mais rápido do que o tamanho total sugere. Em 4-bit fica em torno de 4.7 GB, o que cabe numa GPU de 8 GB como a RTX 3060 com folga, e se acomoda tranquilamente na memória unificada de qualquer Mac com Apple Silicon recente. O detalhe do MoE é que você ainda precisa manter o modelo inteiro na memória, então conte com pelo menos 8 GB de RAM, não importa quão poucos experts disparem.

No dia a dia ele parece ágil. Numa RTX 3060 12GB dá para esperar cerca de 126 tokens por segundo em 4-bit, e uma 4090 leva isso a uns 353, ambos muito acima da velocidade de leitura; um M-series Max fica perto de 144, e até CPU pura em DDR5 entrega cerca de 21, utilizável se você não estiver com pressa. O lado de visão é o verdadeiro motivo para escolhê-lo em vez de um modelo só de texto desse tamanho. O contexto chega no máximo a 32K, o que é confortável para chat e perguntas sobre documentos, mas não é um cavalo de batalha para contexto longo. Encha essa janela e a memória total sobe para cerca de 8.8 GB, então numa placa de 8 GB mantenha o contexto de trabalho modesto.

Diante do Llama 3.1 8B, a alternativa óbvia só de texto na sua categoria, o Gemma 3n E4B geralmente troca alguma profundidade bruta de raciocínio por duas coisas que o Llama não oferece nesse tamanho: entendimento nativo de imagens e a vantagem de velocidade do MoE. Se você só precisa de texto, o Gemma 3 4B é o irmão mais leve e o Llama 3.1 8B a aposta mais segura para chat puro. O destaque do Gemma 3n E4B é ser um modelo de visão e chat genuinamente utilizável que ainda cabe em 8 GB. Uma observação sobre licenciamento: a licença Gemma é open-weight, não open-source, com termos de uso próprios do Google, então leia-os antes de colocar em produção, embora o uso comercial seja permitido.