Kann ich DeepSeek-OCR lokal ausführen?

DeepSeek-OCR ist ein Spezialist, kein Chat-Modell: Es liest Bilder und wandelt Dokumente, Screenshots und gescannte Seiten in Text um. Es ist ein Mixture-of-Experts-Design, das heißt, obwohl das gesamte Modell 3B Parameter hat, sind pro Token nur etwa 0,57B davon aktiv. Das hält es schnell, aber der Haken bei MoE ist, dass du trotzdem Platz für das komplette Modell im Speicher brauchst, nicht nur für den aktiven Anteil. Bei 4-Bit-Quantisierung landet es bei rund 1,8 GB und verlangt mindestens etwa 4 GB RAM, sodass es bequem auf einer 12-GB-RTX 3060, einem kleinen Apple-Silicon-Mac oder sogar einem modernen CPU-Rechner läuft.

In der Praxis fühlt es sich weniger an wie das Warten auf einen Chatbot, sondern eher wie ein schneller Batch-Job. Auf einer RTX 3060 12GB kannst du um die 886 Tokens pro Sekunde erwarten, ein M-Max der M-Serie schiebt über 1000, und eine 4090 spielt mit rund 2479 tok/s in einer anderen Liga. Selbst reine CPU auf DDR5 schafft etwa 148 tok/s, was für gelegentliche Seiten brauchbar ist. Das Kontextfenster ist mit 8K bescheiden, aber für OCR-Arbeit völlig ausreichend, da du jeweils ein Bild auf einmal zuführst; bei vollem Kontext liegt das Ganze bei höchstens rund 2,5 GB Speicher, der nötige Spielraum ist hier also selten das Problem.

Greif nicht zu diesem Modell als allgemeinem Assistenten. Wenn du Reasoning oder Schritt-für-Schritt-Antworten willst, leistet ein Geschwistermodell wie DeepSeek R1 7B in der Regel deutlich bessere Dienste, und Ministral 3 3B ist die sinnvollere Wahl, wenn du Vision plus echte Konversation in einem Modell brauchst. Die herausragende Stärke von DeepSeek-OCR ist eng gefasst und real: Es ist eine winzige, schnelle Engine für die Umwandlung von Dokumenten in Text, die fast überall läuft. Es kommt unter einer schlichten MIT-Lizenz, sodass du es frei in Produktion und kommerziell einsetzen kannst, ohne die anbieterspezifischen Auflagen, die vielen Open-Weight-Veröffentlichungen anhaften.