¿Puedo ejecutar Llama 4 Scout?

Llama 4 Scout es el modelo mixture-of-experts de Meta, y lo clave es entender la diferencia entre sus dos tamaños. Tiene 109B de parámetros en total, pero solo enruta 17B por token, así que genera a la velocidad de un modelo de 17B mientras sigue exigiendo la memoria de los 109B completos. En cuantización de 4 bits ocupa unos 66 GB en disco, y necesitas al menos 96 GB de RAM o memoria unificada para cargarlo. No es un modelo para una GPU de consumo de 24 GB: ni una RTX 3060 ni una RTX 4090 lo admiten. En la práctica, esto es una workstation o un Apple Silicon al máximo.

En un Apple M Max con suficiente memoria unificada corre alrededor de 34 tokens por segundo en 4 bits, cómodamente más rápido de lo que lees y perfecto para chat interactivo y sus tareas de visión. En CPU con DDR5 bajas a unos 5 tokens por segundo, válido para trabajo por lotes pero penoso para ir y venir. El contexto anunciado es enorme, pero ojo: acercarte a los 128K tokens dispara la memoria total a unos 120 GB, así que el contexto largo es una decisión de presupuesto de hardware, no un ajuste gratis. Mantén el contexto de trabajo moderado salvo que te sobre margen.

Frente a GPT-OSS 120B, el otro modelo grande de esta categoría, Scout es la opción multimodal porque maneja visión, mientras que GPT-OSS suele tener ventaja en razonamiento puro. Comparado con hermanos pequeños como Llama 3.2 3B, Scout es un compromiso totalmente distinto: aquellos corren en una huella tipo teléfono, este necesita un servidor. Su rasgo distintivo es ser un modelo genuinamente rápido y capaz de procesar imágenes a esta escala. Una advertencia: se distribuye bajo la licencia Llama Community, que es de pesos abiertos y no de código abierto, así que revisa los términos antes de construir algo comercial con él.