Puis-je faire tourner Llama 4 Scout ?

Llama 4 Scout est le modèle mixture-of-experts de Meta, et l'essentiel à comprendre, c'est l'écart entre ses deux tailles. Il compte 109B de paramètres au total mais n'en active que 17B par token : il génère donc à la vitesse d'un modèle 17B tout en exigeant la mémoire des 109B complets. En quantification 4-bit, cela représente environ 66 GB sur le disque, et il faut au moins 96 GB de RAM ou de mémoire unifiée pour le charger. Ce n'est pas un modèle pour GPU grand public de 24 GB : une RTX 3060 comme une RTX 4090 ne peuvent tout simplement pas l'accueillir. Concrètement, il vous faut une station de travail ou une machine Apple Silicon poussée au maximum.

Sur un Apple M Max doté de suffisamment de mémoire unifiée, il tourne autour de 34 tokens par seconde en 4-bit, soit nettement plus vite que votre vitesse de lecture, parfait pour le chat interactif et ses tâches de vision. Sur CPU avec de la DDR5, vous tombez à environ 5 tokens par seconde : utilisable pour du traitement par lots, mais pénible pour les échanges en va-et-vient. Le contexte annoncé est énorme, mais attention : pousser vers 128K tokens fait grimper la mémoire totale à environ 120 GB. Le contexte long est donc une décision liée à votre budget matériel, pas un réglage gratuit. Gardez un contexte de travail modeste, sauf si vous avez de la marge à revendre.

Face à GPT-OSS 120B, l'autre grand modèle de cette catégorie, Scout est le choix multimodal puisqu'il gère la vision, tandis que GPT-OSS garde généralement l'avantage sur le raisonnement pur. Comparé à ses petits frères comme Llama 3.2 3B, Scout représente un engagement d'une tout autre nature : ceux-là tournent sur une empreinte de smartphone, lui réclame un serveur. Son atout marquant, c'est d'être un modèle réellement rapide et capable de traiter des images à cette échelle. Une réserve : il est distribué sous la licence Llama Community, qui est open-weight et non open-source. Vérifiez donc les termes avant de bâtir quoi que ce soit de commercial dessus.