Kann ich Phi-4 Reasoning Vision 15B lokal ausführen?

Phi-4 Reasoning Vision 15B ist Microsofts Open-Weight-Modell (unter MIT-Lizenz, also frei kommerziell nutzbar), das auf Vision und Reasoning ausgelegt ist statt auf allgemeinen Chat. Es ist ein dichtes Modell mit 15B Parametern, das heißt das gesamte Modell wird geladen und läuft bei jedem Token mit. Bei 4-Bit-Quantisierung landet es bei etwa 9.1 GB, du willst also eine 12-GB-Karte wie eine RTX 3060, um es komplett auf der GPU zu halten, und brauchst mindestens 16 GB System-RAM. Für knappere Hardware kannst du auf einen 2-Bit-Build (rund 6.3 GB) ausweichen, allerdings leidet auf dieser Stufe die Qualität.

Im Alltag fühlt es sich auf einer 12-GB-RTX 3060 flott an, mit etwa 34 tok/s bei 4-Bit, angenehm über Lesegeschwindigkeit, und eine 24-GB-RTX 4090 treibt das auf rund 94 tok/s. Auf einem Apple M Max kannst du mit etwa 38 tok/s rechnen. Das Kontextfenster liegt bei 16K, was bescheiden ist, behandle es also eher als Arbeits-Notizblock denn als Ablage für ganze Dokumente. Schon bei 8K Kontext klettert der gesamte Speicherbedarf auf rund 10.5 GB, lass auf einer 12-GB-Karte also Luft.

Im Vergleich zu seinen Geschwistern sind Phi-4 14B und Qwen 3 14B die richtige Wahl, wenn du ein allgemeines Chat-und-Reasoning-Modell willst, denn dieser Build tauscht einen Teil dieser Breite gegen Bildverständnis ein. Phi-4 Mini 3.8B ist die leichtere Option, wenn der Speicher knapp ist. Die herausragende Eigenschaft hier: Du bekommst echtes multimodales Reasoning bei einem Speicherbedarf, der noch auf eine einzelne Mittelklasse-GPU passt, und die MIT-Lizenz bedeutet, dass du dir keine Sorgen um kommerzielle Einschränkungen machen musst.