Kann ich Llama 3.1 70B lokal ausführen?

Llama 3.1 70B greift man, wenn Assistenten der 8B-Klasse ständig zu kurz greifen und man echte Hardware dafür übrig hat. Bei 4-Bit wiegt es rund 42.8 GB, und der entscheidende Punkt ist, worauf es nicht passt: Eine 12 GB RTX 3060 und sogar eine 24 GB RTX 4090 fallen beide raus, weil schon die Gewichte allein überlaufen. Realistisch ist das eine Maschine mit mindestens 64 GB, und ein Mac Studio mit reichlich Unified Memory ist das unkomplizierteste Single-Box-Zuhause dafür. Wer knausern muss, geht auf eine 2-Bit-Quantisierung bei etwa 29.6 GB runter — bezahlt das aber mit Qualität.

Im Alltag wirkt es bedächtig statt flott. Auf einem Apple M-Max landest du bei 4-Bit bei ungefähr 8 tok/s — lesbar, aber langsamer als du sprichst — und auf einer DDR5-CPU kriecht es mit rund 1 tok/s dahin, brauchbar für Batch-Jobs und sonst kaum etwas. Das Kontextfenster von 128K ist echt, hier aber teuer: Füllt man es, steigt der Gesamtspeicher auf etwa 87.5 GB, deutlich über der 64-GB-Grenze. Halte den Arbeitskontext bescheiden, sofern du keine Reserven hast, sonst beginnt die Maschine zu swappen und die ohnehin magere Geschwindigkeit bricht zusammen.

Innerhalb der eigenen Familie ist das das Schwergewicht: Llama 3.2 3B und 1B sind die Modelle, die man tatsächlich auf einem Laptop laufen lässt, während man 70B nimmt, wenn Antwortqualität über Geschwindigkeit steht. Geht es dir wirklich um schrittweises Reasoning, zieht ein gleich großes DeepSeek R1 70B auf genau dieser Achse in der Regel vorbei, während dieses Llama auf Chat getrimmt ist. Seine Stärke ist das breite, ausgereifte Tooling und verlässliche Allzweck-Ausgabe. Ein Vorbehalt: Die Llama-Community-Lizenz ist open-weight, nicht open-source — prüfe also Metas Bedingungen, bevor du es in ein kommerzielles Produkt einbaust.