Posso rodar o Gemma 3 1B?

O Gemma 3 1B é um modelo de chat minúsculo do Google, feito para os casos em que você quer um assistente local que carrega na hora e roda em quase qualquer lugar. Em quantização de 4 bits ele tem apenas cerca de 0.6 GB, e mesmo uma build de 8 bits fica em torno de 1.1 GB, então cabe em 3 GB de RAM com folga de sobra. Isso significa que ele roda em um notebook antigo, em um dispositivo da categoria Raspberry Pi ou em um chip de celular sem encostar em uma GPU dedicada. Se você precisa de algo para chat rápido, rascunhos ou para embutir em um app onde cada megabyte conta, é este o modelo que você vai querer.

No uso diário o destaque é a velocidade pura. Em uma RTX 4090 ele alcança cerca de 1413 tokens por segundo, e uma RTX 3060 mais comum ainda entrega uns ~505 tok/s, com um Apple M Max em torno de ~575 tok/s. Mesmo só em CPU sobre DDR5 ele atinge aproximadamente 84 tok/s, mais rápido do que você consegue ler. A janela de contexto é de 32K, e, diferente de modelos maiores, dá para preencher boa parte dela sem custo alto: nos 32K completos o conjunto todo fica em cerca de 2.2 GB no total, então a memória nunca é o que te trava por aqui.

Vale ser honesto sobre o tamanho: com 1B de parâmetros, este não é um modelo de raciocínio nem de código, e ele vai perder o fio da meada em instruções longas com vários passos. Se você tiver folga de recursos, o Gemma 3 4B costuma lidar melhor com prompts mais difíceis e ainda acrescenta visão, enquanto o Llama 3.2 1B é a alternativa óbvia de mesmo porte para comparar em chat simples. O traço marcante do Gemma 3 1B é ser mais ou menos o menor modelo de chat genuinamente utilizável que dá para rodar. Uma ressalva: ele vem sob a licença Gemma do Google, que é de pesos abertos mas traz termos específicos do provedor, então leia-os antes de usar comercialmente.