Kann ich Phi-4 Mini 3.8B lokal ausführen?

Phi-4 Mini 3.8B ist Microsofts kleines Chat-Modell – die richtige Wahl, wenn du etwas wirklich Leichtgewichtiges willst, das trotzdem ein Gespräch tragen kann. Mit 4-Bit-Quantisierung landet es bei rund 2.3 GB und sinkt bei 2-Bit auf etwa 1.6 GB, passt also fast überall hin: eine 6 GB GPU hat reichlich Luft, ein Einsteiger-M1-Mac führt es ohne Mühe aus, und selbst ein altes Notebook bewältigt es auf der CPU. Die MIT-Lizenz ist der einfache Teil – keine Bedingungen zu lesen, keine kommerziellen Einschränkungen, du kannst es also bedenkenlos in einem Produkt ausliefern.

Im Alltag ist es flott. Auf einer RTX 3060 siehst du etwa 133 tok/s, ein M-Max liegt bei rund 151 tok/s, und eine 4090 treibt es über 370 tok/s – damit deutlich schneller, als du lesen kannst. Die 128K Kontextlänge ist die Schlagzeile, aber behandle sie mit Vorsicht: Füllst du sie voll, steigt der Gesamtspeicher auf etwa 14.3 GB und liegt damit weit über den 6 GB, die das Modell im Ruhezustand braucht. Auf einer kleinen GPU hältst du den Arbeitskontext besser bei ein paar tausend Token, dann bleibst du im grünen Bereich. Selbst eine CPU auf DDR5 schafft bei kurzen Prompts noch rund 22 tok/s.

Wo seine Größe sichtbar wird, ist die Tiefe. Bei logischem Denken und mehrstufigen Anweisungen hat Qwen 3 4B in der Regel die Nase vorn, obwohl es etwa gleich viele Parameter besitzt; und wenn du echten Spielraum beim Reasoning brauchst, ist Phi-4 14B der naheliegende Schritt nach oben. Die herausragende Eigenschaft von Phi-4 Mini ist seine Effizienz: Bei einfachem Chat und Zusammenfassungen boxt es über seine 3.8B hinaus und bleibt dabei klein genug, um fast überall zu laufen – MIT-lizenziert und ohne Einschränkungen. Wenn du einen winzigen lokalen Assistenten willst, der schnell lädt und dir nicht im Weg steht, ist das eine starke Standardwahl.