Kann ich DeepSeek R1 8B lokal ausführen?

DeepSeek R1 8B ist in erster Linie ein Reasoning-Modell und kein Allzweck-Chatpferd – diese Einordnung sollte man kennen, bevor man es herunterlädt. Es handelt sich um ein dichtes 8B-Modell, das in 4-Bit-Quantisierung bei rund 4.9 GB landet und mit reichlich Spielraum auf eine 8-GB-GPU passt. Die angegebenen 8 GB Mindest-RAM machen es auf einem bescheidenen Desktop oder jedem Apple-Silicon-Mac mit Unified Memory nutzbar. Die MIT-Lizenz ist der unkomplizierte Teil: kommerzieller Einsatz und Produktivbetrieb sind ohne Auflagen des Anbieters erlaubt. Greif zu, wenn du ein Modell willst, das ein Problem durchdenkt, statt nur schnell zu antworten.

Im Alltag wirkt es für seine Größe auf echter Hardware fix. Eine RTX 3060 12GB schafft etwa 63 tok/s, ein M-Max rund 72 tok/s und eine 4090 grob 177 tok/s – das Streaming wird also nie zum Flaschenhals. Auf der CPU mit DDR5 fällt es auf rund 11 tok/s, brauchbar für gelegentliche Anfragen, aber nicht für einen Dauerbetrieb. Der eigentliche Haken ist die Chain-of-Thought-Eigenheit: R1 denkt laut und frisst dadurch den Kontext schneller als ein reines Chatmodell. Das 128K-Fenster ist echt, doch wird es gefüllt, steigt der Gesamtspeicher auf etwa 21.7 GB – halte den Arbeitskontext also moderat, sofern du keinen Puffer hast.

Ehrlich eingeordnet ist das ein destilliertes Reasoning-Modell und kein Spitzenhirn im Kleinformat. Gegenüber Llama 3.1 8B tauscht es meist breite Gesprächsroutine und ausgereiftes Tooling gegen stärkeres schrittweises Reasoning ein; die kleineren DeepSeek R1 7B und 1.5B gibt es, wenn du leichter werden musst – auf Kosten der Tiefe. Sein herausragendes Merkmal ist die sichtbare Gedankenspur, die bei Mathematik, Logik und Debugging echten Nutzen bringt, wo man den Rechenweg sehen will. Wenn du vor allem schnellen, lockeren Chat willst, ist ein chat-optimiertes 8B die bessere Wahl; willst du ein lokales Modell, das wirklich nachdenkt, verdient sich R1 8B seinen Platz.