Phi-4 Mini 3.8Bは動く？

Phi-4 Mini 3.8B は Microsoft の小型チャットモデルで、本当に軽量でありながらしっかり会話が成立するものが欲しいときの第一候補です。4-bit 量子化で約 2.3 GB、2-bit ならおよそ 1.6 GB まで下がるため、ほぼどこにでも収まります。6 GB の GPU なら余裕があり、エントリークラスの M1 Mac でも難なく動き、古いノート PC の CPU でも扱えます。ライセンスが MIT である点も気楽で、読むべき規約も商用利用の制限もないので、製品に自由に組み込めます。

日常的な使い心地は軽快です。RTX 3060 でおよそ 133 tok/s、M シリーズ Max では 151 tok/s 前後、4090 なら 370 tok/s を超え、読む速度をはるかに上回ります。128K のコンテキストは目を引く数字ですが、扱いには注意が必要です。これを埋めるとメモリ総量は約 14.3 GB まで膨らみ、待機時にこのモデルが必要とする 6 GB を大きく超えてしまいます。小型の GPU では作業コンテキストを数千トークンに抑えれば快適さを保てます。DDR5 上の CPU でも、短いプロンプトなら約 22 tok/s をこなします。

そのサイズが表れるのは深さの面です。推論や多段階の指示では、パラメータ数がほぼ同じであるにもかかわらず Qwen 3 4B のほうが概して優れており、本格的な推論の余裕が必要なら Phi-4 14B が明確なステップアップになります。Phi-4 Mini の際立った特長は効率の良さです。単純なチャットや要約では 3.8B という規模以上の働きをしつつ、ほぼどこでも動くほど小さく、MIT ライセンスで制限もありません。素早く読み込めて作業の邪魔をしない小さなローカルアシスタントが欲しいなら、これは有力な標準候補です。