Kann ich DeepSeek R1 70B lokal ausführen?

DeepSeek R1 70B ist das Modell, zu dem du greifst, wenn du Chain-of-Thought-Reasoning vollständig auf eigener Hardware laufen lassen willst und keinen schnellen Chat-Helfer suchst. In 4-Bit wiegt es rund 42.8 GB und braucht mindestens etwa 64 GB RAM, was eine einzelne Consumer-GPU von vornherein ausschließt: Auf einer RTX 3060 12GB oder selbst einer RTX 4090 24GB passt es schlicht nicht. Sein realistisches Zuhause ist ein Mac mit reichlich Unified Memory oder eine Workstation mit 64 GB oder mehr, wo der komplette Satz an Gewichten tatsächlich resident bleiben kann. Das ist eine ernsthafte Investition, kein beiläufiger Download.

Im Alltag lautet die ehrliche Schlagzeile: Es ist langsam. Auf einem Apple M-Max bewegst du dich bei rund 8 Tokens pro Sekunde, auf einer CPU mit DDR5 fällt es auf etwa 1 Token pro Sekunde, sodass Antworten bestenfalls im Lesetempo eintreffen und im schlimmsten Fall kriechen. Weil R1 vor der Antwort laut nachdenkt, fließt ein Großteil dieser Tokens in sichtbares Reasoning, sodass eine einzelne Antwort schon mal dauern kann. Die 128K-Kontextlänge ist vorhanden, doch sie zu füllen treibt den Gesamtspeicher auf etwa 87.5 GB, deutlich über die 64-GB-Untergrenze hinaus. Halte den Arbeitskontext also moderat, sofern du keinen Spielraum übrig hast.

Innerhalb der eigenen Familie ist die Abwägung eindeutig: DeepSeek R1 7B oder das winzige 1.5B laufen deutlich schneller und passen auf bescheidene Hardware, aber dieses 70B schlägt sich bei härterem mehrstufigem Reasoning in der Regel besser, wo die kleineren Distillate gern den Faden verlieren. Verglichen mit Llama 3.1 70B, das auf Chat getrimmt ist, ist das herausragende Merkmal von R1 70B dieser explizite Reasoning-Stil, der sich besser für Mathe- und Logikaufgaben eignet als für offene Konversation. Die MIT-Lizenz ist hier der einfache Teil: Du darfst es kommerziell und in der Produktion einsetzen, ohne anbieterspezifische Auflagen. Plane nur Speicher und Wartezeit fest ein.