Kann ich Llama 3.3 70B lokal ausführen?

Llama 3.3 70B ist das Modell, zu dem man greift, wenn ein 8B einfach nicht klug genug ist und man die passende Hardware dafür hat. Es ist ein dichtes Chat-Modell mit 70,6 Milliarden Parametern, und der Speicherbedarf spiegelt das wider: Selbst mit einer 4-Bit-Quantisierung landet es bei rund 42.8 GB, und für etwas Spielraum beim Laden sollten es mindestens 64 GB Systemspeicher sein. Mit einer 2-Bit-Quantisierung schrumpft es auf etwa 29.6 GB, doch das realistische Zuhause für dieses Modell ist eine Apple-Silicon-Maschine mit viel RAM oder ein Multi-GPU-System, nicht eine einzelne Consumer-Karte.

Im Alltag ist die ehrliche Einschränkung die Geschwindigkeit. Auf einem M-Series Max liegst du bei 4-Bit bei etwa 8 tok/s — das ist lesbar, aber langsam genug, dass man jede lange Antwort spürt; auf einer CPU mit DDR5 kriecht es bei rund 1 tok/s dahin. Das Kontextfenster von 128K ist wirklich groß, doch es zu füllen ist teuer: Bei vollen 128K steigt der gesamte Speicherbedarf auf etwa 87.5 GB, weit über den 42.8 GB, die allein die Gewichte benötigen. Halte den Arbeitskontext moderat, sofern du nicht Speicher im Überfluss hast.

Beachte, dass die aufgeführte RTX 3060 und die RTX 4090 dieses Modell in 4-Bit schlicht nicht fassen — eine einzelne Mainstream-GPU fällt also aus. Gegenüber DeepSeek R1 70B, das die gleiche Parameterzahl hat, ist R1 der Reasoning-Spezialist und liegt bei schwerer, mehrstufiger Mathematik meist vorn, während Llama 3.3 70B das zuverlässigere, breit kompatible Allzweck-Chat-Modell ist. Seine herausragende Eigenschaft: nahezu Flaggschiff-Qualität im Dialog aus offenen Gewichten. Ein Vorbehalt: Die Llama-Community-Lizenz ist Open-Weight, nicht echtes Open Source — prüfe daher Metas Bedingungen vor jedem kommerziellen Einsatz.