Posso rodar o Gemma 4 12B?

O Gemma 4 12B é um modelo denso de 12B com capacidade de visão para chat, programação e raciocínio, voltado para quem quer um único assistente local competente que também lê imagens. Em quantização de 4 bits ele fica em torno de 7.3 GB, então cabe numa placa de 12 GB como uma RTX 3060 com folga para contexto, e roda tranquilamente na memória unificada de um Mac com Apple Silicon. O modelo precisa de no mínimo cerca de 12 GB de RAM para carregar. Se você estiver no limite, a versão de 2 bits cai para uns 5 GB, mas você troca qualidade por esse aperto.

No uso diário ele gera cerca de 42 tok/s numa RTX 3060, rápido o bastante para acompanhar a leitura, e por volta de 48 tok/s num M-series Max. Uma RTX 4090 leva isso para além de 100. A janela de contexto de 256K é generosa, mas trate-a como margem, não como padrão. Mesmo a 128K de contexto, o modelo somado ao cache KV sobe para cerca de 27.4 GB no total, bem além de uma única placa de 12 GB, então você vai recorrer à memória do sistema ou perder muito desempenho. Mantenha o contexto de trabalho em alguns milhares de tokens em hardware de consumo.

Comparado ao mais leve Gemma 3 4B, o 12B geralmente se sai melhor em raciocínio de múltiplas etapas e em programação, que é a troca que você faz pela memória extra; o Gemma 3 4B é a escolha se você está limitado ou só precisa de chat e visão. O destaque aqui é que visão e um raciocínio textual sólido vêm num único modelo que ainda roda numa GPU intermediária. A licença também é limpa: Apache 2.0 significa que você pode usá-lo comercialmente e em produção sem amarras específicas do provedor.