Kann ich DeepSeek R1 14B lokal ausführen?

DeepSeek R1 14B ist ein Reasoning-Modell, kein flotter Chat-Begleiter. Mit 14.8B Parametern liegt es in der unbequemen Mitte: Eine 4-Bit-Quantisierung landet bei rund 9 GB und sprengt damit eine 12-GB-Karte, sobald Kontext dazukommt; empfohlen sind mindestens 16 GB RAM. Auf einer 24-GB-GPU wie der RTX 4090 oder einem Apple-Silicon-Mac mit mehr Speicher läuft es sauber, doch auf einer 12-GB-RTX 3060 bewegst du dich am Limit. Die MIT-Lizenz ist der einfache Teil: frei nutzbar, auch kommerziell, ohne Auflagen des Anbieters.

Im Alltag denkt es laut, bevor es antwortet, also rechne bei jedem Prompt mit langen Ketten von Reasoning-Tokens. Auf einer RTX 4090 erreichst du rund 95 tok/s, schnell genug, dass das Reasoning nur so durchläuft; auf einer RTX 3060 fällt es auf etwa 34 tok/s und auf einem M-Max-Mac auf grob 39 tok/s, wo sich die langen Gedankengänge zäh anfühlen. Die 128K Kontext sind echt, aber teuer: Füllt man sie aus, steigt der Gesamtspeicher auf etwa 31.1 GB, weit jenseits jedes 16-GB-Setups. Halte den Arbeitskontext also knapp, sofern du keine Maschine mit 32 GB oder mehr hast.

Gegenüber Qwen 3 14B, das dieselben 14.8B Parameter mitbringt, aber auch normalen Chat beherrscht, ist R1 14B die spezialisiertere Wahl: Bei mehrstufiger Mathematik und Logik zahlt es sich meist aus, wirkt aber schwerfällig im einfachen Hin und Her, wo Qwen tendenziell schneller und direkter ist. Seine herausragende Stärke ist nachvollziehbares Reasoning in einer Größe, die du tatsächlich selbst hosten kannst. Willst du denselben Ansatz leichter, halbiert DeepSeek R1 7B die Parameterzahl grob und passt bequemer auf eine 12-GB-Karte.