Kann ich Llama 4 Scout lokal ausführen?

Llama 4 Scout ist Metas Mixture-of-Experts-Modell, und der entscheidende Punkt ist die Lücke zwischen seinen beiden Größen. Es hat 109B Parameter insgesamt, leitet aber pro Token nur 17B davon aktiv an, läuft also mit dem Tempo eines 17B-Modells und beansprucht zugleich den Speicher der vollen 109B. Bei 4-Bit-Quantisierung sind das rund 66 GB auf der Festplatte, und zum Laden brauchst du mindestens 96 GB RAM oder Unified Memory. Das ist kein Modell für eine 24-GB-Consumer-GPU: Sowohl eine RTX 3060 als auch eine RTX 4090 passen es schlicht nicht. Realistisch braucht es eine Workstation oder einen voll ausgebauten Apple-Silicon-Rechner.

Auf einem Apple M Max mit genug Unified Memory läuft es bei 4-Bit mit etwa 34 Tokens pro Sekunde, also bequem schneller, als du liest, und völlig ausreichend für interaktiven Chat und seine Vision-Aufgaben. Auf der CPU mit DDR5 fällst du auf grob 5 Tokens pro Sekunde, brauchbar für Batch-Verarbeitung, aber zäh im Hin und Her. Der beworbene Kontext ist riesig, aber Vorsicht: Geht man in Richtung 128K Tokens, steigt der Gesamtspeicher auf etwa 120 GB, der lange Kontext ist also eine Frage des Hardware-Budgets, keine kostenlose Einstellung. Halte den genutzten Kontext moderat, sofern du keine Reserven übrig hast.

Gegenüber GPT-OSS 120B, dem anderen großen Modell dieser Klasse, ist Scout die multimodale Wahl, da es Bilder verarbeitet, während GPT-OSS beim reinen Reasoning meist die Nase vorn hat. Verglichen mit kleinen Geschwistern wie Llama 3.2 3B ist Scout eine völlig andere Liga: Jene laufen mit einem handytauglichen Footprint, dieses braucht einen Server. Seine herausragende Eigenschaft ist, ein wirklich schnelles, bildfähiges Modell in dieser Größenordnung zu sein. Ein Vorbehalt: Es wird unter der Llama Community License ausgeliefert, die Open-Weight ist, nicht Open-Source, prüfe also die Bedingungen, bevor du etwas Kommerzielles darauf aufbaust.