Posso rodar o Gemma 3 12B?

O Gemma 3 12B é o modelo de peso aberto de porte médio do Google, e ele ocupa um ponto útil para quem quer mais capacidade do que os modelos de chat 7-8B de sempre, sem partir para algo que exige uma workstation. Num quant de 4-bit ele fica em torno de 7.4 GB, o que cabe numa placa de 12 GB como a RTX 3060 com uma pequena folga, e roda tranquilamente em memória unificada num Mac Apple Silicon de 16 GB ou mais. O piso é de 12 GB de RAM só para carregá-lo. Ele também lida com visão, então dá para alimentá-lo com imagens junto do texto, algo que a maioria dos modelos desse tamanho não faz.

No uso diário ele parece responsivo em hardware de consumo. Numa RTX 3060 12GB você obtém cerca de 41 tokens por segundo em 4-bit, mais rápido do que você lê, e um Apple M Max leva isso para aproximadamente 47 tok/s. Uma 4090 vai voar a cerca de 116 tok/s, se você tiver uma. A janela de contexto de 128K é a pegadinha: ela existe de verdade, mas preenchê-la sai caro. Nos 128K completos, o modelo mais o cache KV precisam de cerca de 27.7 GB no total, bem acima do que uma placa de 12 GB comporta, então mantenha o contexto de trabalho modesto a menos que você tenha uma GPU de 24 GB ou bastante memória unificada.

Frente ao Mistral Nemo 12B, a alternativa óbvia de mesmo tamanho, o Gemma 3 12B em geral leva vantagem em seguir instruções e em trabalho multimodal, já que o Nemo é só texto, embora o Nemo costume ser a escolha mais leve para chat puro de contexto longo. Se você quiser ficar com algo menor, o Gemma 3 4B reduz o consumo mantendo a visão. O destaque do Gemma 3 12B é ser um modelo capaz de visão e chat que ainda roda numa única GPU de gama média. Uma ressalva: ele vem sob a licença Gemma do Google, que é de peso aberto mas carrega termos específicos do provedor, então leia-os antes de qualquer implantação comercial, em vez de presumir que é open source puro.