Kann ich OLMo 2 13B lokal ausführen?

OLMo 2 13B ist das vollständig offene Chat-Modell von Ai2, und sein Reiz liegt ebenso sehr in der Herkunft wie in der Leistung: Gewichte, Trainingsdaten und das gesamte Rezept sind unter Apache 2.0 öffentlich, du kannst es also kommerziell einsetzen, ohne dir Gedanken über die Lizenzbedingungen zu machen. In 4-Bit-Quantisierung landet es bei rund 8.3 GB, was für eine 12-GB-Karte nach Abzug des Overheads etwas knapp ist, aber auf einer 16-GB-GPU oder im Unified Memory eines Apple-Silicon-Macs problemlos läuft. Wenn es eng wird, schrumpft die 2-Bit-Variante auf etwa 5.7 GB. Plane mit ungefähr 12 GB RAM als Untergrenze.

Im Alltag fühlt es sich wie ein solider, ausgeglichener Chat-Partner an. Auf einer RTX 3060 12 GB kannst du bei 4-Bit mit rund 37 Tokens pro Sekunde rechnen, bequem schneller als du liest, und eine 4090 treibt das auf etwa 103 tok/s. Ein M-series Max liegt bei knapp 42 tok/s. Worauf du immer achten solltest, ist das 4K-Kontextfenster, das nach den Maßstäben von 2024-2025 klein ausfällt. Selbst voll ausgereizt braucht das Modell nur etwa 9 GB insgesamt, aber du kannst ihm schlicht keine langen Dokumente oder ausufernde Chat-Verläufe füttern, ohne zu kürzen – behandle es also als Assistenten für kurze Wortwechsel.

Innerhalb seiner Größenklasse ist OLMo 2 13B die Wahl für offene Daten und nicht der Spitzenreiter bei der reinen Leistungsfähigkeit. Modelle wie Qwen 3 14B und Phi-4 14B liegen bei Reasoning und strukturierten Aufgaben meist vorn, und beide bringen deutlich größere Kontextfenster mit, falls dir lange Eingaben wichtig sind. Ministral 3 14B ergänzt Vision, was OLMo nicht bietet. Was OLMo dagegen liefert wie keines von ihnen, ist echte durchgängige Offenheit: Wenn dir wichtig ist, genau zu wissen, was in dein Modell eingeflossen ist, oder wenn du Forschung und Reproduzierbarkeitsarbeit machst, dann ist dies das Modell deiner Wahl. Apache 2.0 bedeutet keinerlei Nutzungsauflagen.