Kann ich Llama 3.2 3B lokal ausführen?

Llama 3.2 3B ist das Modell, zu dem man greift, wenn man einen echten Assistenten auf Hardware will, die kaum merkt, dass etwas läuft. Mit 4-Bit-Quantisierung landet es bei rund 1.9 GB und verlangt nur etwa 4 GB RAM, passt also praktisch auf alles: ein Einsteiger-Notebook, ein Board der Raspberry-Klasse mit genug Speicher, eine alte 6-GB-GPU oder jeden Apple-Silicon-Mac mit etwas Luft. Wenn dir die 8B-Familie für deine Maschine zu schwer ist, ist das die Stufe darunter, die Chat trotzdem wirklich brauchbar hält.

Im Alltag sticht vor allem das Tempo heraus. Auf einer RTX 3060 sind etwa 158 Tokens pro Sekunde drin, eine 4090 treibt das auf rund 442 hoch – deutlich schneller, als du lesen kannst; selbst eine DDR5-CPU schafft ungefähr 26 tok/s, falls du gar keine GPU hast. Das 128K-Kontextfenster steht zwar in den Specs, aber sei realistisch beim Speicher: füllt man es ganz aus, klettert der Gesamtverbrauch auf rund 13 GB, weit über den Ruheverbrauch des Modells. Halte den Arbeitskontext auf kleinen Maschinen daher bei ein paar Tausend Tokens.

Innerhalb der eigenen Familie tauscht Llama 3.2 3B Tiefe gegen Größe ein. Llama 3.1 8B meistert schwierigeres Reasoning und mehrstufige Anweisungen in der Regel besser, während das 1B-Geschwistermodell nur dann die Wahl ist, wenn dir wirklich der Speicher ausgeht und du schwächere Antworten in Kauf nimmst. Die eigentliche Stärke der 3B-Variante: Sie ist das kleinste Llama, das sich noch wie ein kompetenter Gesprächspartner anfühlt und nicht wie Spielzeug. Ein Vorbehalt: Sie kommt unter der Llama Community-Lizenz, die zwar Open-Weight ist, aber Metas eigene Bedingungen mitbringt – also kein klassisches Open Source. Prüfe diese Bedingungen, bevor du ein Produkt darauf aufbaust.