Kann ich Phi-4 14B lokal ausführen?

Phi-4 14B ist Microsofts kompaktes Reasoning-Modell, gedacht für alle, die mehr Logik und strukturiertes Denken brauchen, als ein typisches 7-8B-Chatmodell liefert, ohne gleich zu etwas zu greifen, das eine Workstation voraussetzt. Mit 14,7B Parametern landet es bei 4-Bit-Quantisierung um die 8.9 GB, passt also nicht mit komfortablem Spielraum auf eine schlichte 8-GB-Karte; die Untergrenze von 16 GB RAM ist der ehrliche Mindestwert. Eine 12-GB-RTX 3060, ein Apple-Silicon-Mac mit 16 GB oder jede GPU mit Reserve jenseits von 9 GB ist das natürliche Zuhause. Zur 2-Bit-Variante bei rund 6.2 GB greifst du nur, wenn es wirklich eng wird.

Im Alltag wirkt es eher bedächtig als flink, was zu seiner Reasoning-Ausrichtung passt. Auf einer 12-GB-RTX 3060 sind etwa 34 Token pro Sekunde bei 4-Bit zu erwarten, angenehm für Chat und Schritt-für-Schritt-Aufgaben; eine RTX 4090 schiebt das auf rund 96, und ein M-Max liegt bei etwa 39. Das Kontextfenster ist hier die eigentliche Einschränkung: Mit 16K ist es nach heutigen Maßstäben bescheiden, und schon das Füllen von 8K treibt den Gesamtspeicher auf rund 10.3 GB. Halte den aktiven Kontext schlank, dann bleibst du klar innerhalb einer 12-GB-Karte.

Gegen Qwen 3 14B, nahezu identisch in der Größe und mit demselben Fokus auf Chat und Reasoning, tauscht Phi-4 in der Regel breites Weltwissen gegen kompaktes, sauber strukturiertes Reasoning bei genau den Mathe- und Logik-Prompts, auf die Microsoft es getrimmt hat; Qwen wirkt bei offenen Aufgaben meist vielseitiger. Wenn du etwas Leichteres willst, ist Phi-4 Mini 3.8B dieselbe Familie zu einem Bruchteil des Speicherbedarfs. Phi-4s herausragende Eigenschaft ist, dass es beim strukturierten Reasoning über seiner Parameterzahl spielt, und die MIT-Lizenz ist der einfache Teil: frei nutzbar, kommerzielle Nutzung inklusive, keine Auflagen seitens des Anbieters.