Posso rodar o Llama 3.2 3B?

O Llama 3.2 3B é o modelo que você escolhe quando quer um assistente de verdade rodando em um hardware que mal percebe que ele está ali. Em quantização de 4 bits ele fica em torno de 1.9 GB e pede apenas cerca de 4 GB de RAM, então cabe em praticamente qualquer coisa: um notebook de entrada, uma placa estilo Raspberry com memória suficiente, uma GPU antiga de 6 GB ou qualquer Mac com Apple Silicon que tenha folga. Se a família 8B parece pesada demais para a sua máquina, este é o degrau abaixo que mantém o chat realmente útil.

No uso diário o destaque é a velocidade. Em uma RTX 3060 dá para esperar mais ou menos 158 tokens por segundo, e uma 4090 leva isso para cerca de 442, bem mais rápido do que você consegue ler; até uma CPU com DDR5 entrega por volta de 26 tok/s se você não tiver GPU nenhuma. A janela de contexto de 128K aparece na ficha, mas seja realista quanto à memória: enchê-la por completo eleva o uso total para cerca de 13 GB, muito além do consumo em repouso do modelo, então mantenha o contexto de trabalho em alguns milhares de tokens em máquinas pequenas.

Dentro da própria família, o Llama 3.2 3B abre mão de profundidade em troca de tamanho. O Llama 3.1 8B costuma lidar melhor com raciocínio mais difícil e instruções de múltiplas etapas, enquanto o irmão de 1B só vale a pena quando você está realmente sem memória e aceita respostas mais fracas. A verdadeira característica do 3B é ser o menor Llama que ainda se comporta como um parceiro de chat competente, e não como um brinquedo. Uma ressalva: ele vem sob a licença Llama Community, que é open-weight mas carrega os termos próprios da Meta, ou seja, não é open-source puro. Verifique esses termos antes de construir um produto em cima dele.