Posso rodar o Gemma 3 4B?

O Gemma 3 4B é o pequeno cavalo de batalha do Google para quem quer um assistente local competente que também entende imagens. Com 4.3B de parâmetros, ele rende mais do que se espera de um modelo 4B, e a pegada é minúscula: um quant de 4 bits ocupa cerca de 2.6 GB, e você só precisa de uns 6 GB de RAM para rodá-lo. Ou seja, ele cabe em quase qualquer coisa que tenha sinais de vida: uma GPU de notebook antiga de 8 GB, um Mac Apple Silicon básico, até uma RTX 3060 de 12 GB com sobra. Se você quer visão mais chat sem precisar de uma máquina parruda, este é o ponto de partida óbvio.

No dia a dia ele parece rápido. Numa RTX 3060 dá para esperar cerca de 117 tokens por segundo em 4 bits, e numa RTX 4090 sobe para uns 329, então as respostas saem mais rápido do que você consegue ler em qualquer uma das duas. Um Apple M Max fica perto de 134 tok/s, e até CPU puro em DDR5 dá conta de uns 20, o que é utilizável para prompts curtos. A janela de contexto de 128K é real, mas cara: preencha ela por completo e a memória total sobe para cerca de 15.3 GB, então numa GPU pequena mantenha seu contexto de trabalho em alguns milhares de tokens ou desça para um quant menor.

Contra o Qwen 3 4B, a troca honesta é clara: o Qwen 3 geralmente leva a melhor em raciocínio e tarefas estruturadas de várias etapas, enquanto o destaque do Gemma 3 4B é a visão. Poucos modelos tão pequenos realmente leem imagens, e só isso já faz dele a escolha quando você precisa de um modelo multimodal local em hardware modesto. Se ele ficar pequeno para você, o Gemma 3 12B é o passo natural na mesma família. Uma ressalva: a licença Gemma é de pesos abertos, não de código aberto, e traz os próprios termos de uso do Google, então leia-os antes de embarcá-lo em um produto.