Posso rodar o Llama 4 Scout?

O Llama 4 Scout é o modelo mixture-of-experts da Meta, e o ponto central para entender é a diferença entre seus dois tamanhos. Ele tem 109B de parâmetros no total, mas roteia apenas 17B por token, então gera na velocidade de um modelo de 17B enquanto ainda exige a memória dos 109B completos. Em quantização de 4 bits, isso dá cerca de 66 GB em disco, e você precisa de pelo menos 96 GB de RAM ou memória unificada para carregá-lo. Este não é um modelo para GPU de consumo de 24 GB: tanto uma RTX 3060 quanto uma RTX 4090 simplesmente não comportam ele. Na prática, isso pede uma workstation ou um Apple Silicon no topo de linha.

Em um Apple M Max com memória unificada suficiente, ele roda em torno de 34 tokens por segundo em 4 bits, o que é confortavelmente mais rápido do que você lê e adequado para chat interativo e suas tarefas de visão. Na CPU com DDR5, você cai para cerca de 5 tokens por segundo, utilizável para trabalho em lote, mas penoso para o vai e vem. O contexto anunciado é enorme, mas tome cuidado: chegar perto de 128K tokens leva a memória total para cerca de 120 GB, então o contexto longo é uma decisão de orçamento de hardware, não uma configuração gratuita. Mantenha o contexto de trabalho modesto, a menos que você tenha folga de sobra.

Frente ao GPT-OSS 120B, o outro modelo grande dessa categoria, o Scout é a escolha multimodal por lidar com visão, enquanto o GPT-OSS geralmente leva vantagem em raciocínio puro. Comparado a irmãos menores como o Llama 3.2 3B, o Scout é um compromisso completamente diferente: aqueles rodam em um footprint de celular, este precisa de um servidor. Seu traço de destaque é ser um modelo genuinamente rápido e capaz de processar imagens nessa escala. Uma ressalva: ele vem sob a licença Llama Community, que é open-weight e não open-source, então confira os termos antes de construir qualquer coisa comercial em cima dele.