Phi-4 Mini 3.8B çalıştırabilir miyim?

Phi-4 Mini 3.8B, Microsoft'un küçük sohbet modeli; gerçekten hafif bir şey isteyip yine de düzgün bir konuşma yürütebilecek bir model arıyorsanız ilk uzanacağınız seçenek. 4-bit niceleme ile yaklaşık 2.3 GB'a oturuyor, 2-bit'te ise kabaca 1.6 GB'a kadar düşüyor; yani neredeyse her yere sığıyor: 6 GB'lık bir GPU'da bol bol yer kalıyor, giriş seviyesi bir M1 Mac onu hiç zorlanmadan çalıştırıyor, CPU üzerinde eski bir dizüstü bile kaldırabiliyor. MIT lisansı işin kolay tarafı; okunacak şart yok, ticari kısıtlama yok, dolayısıyla bir ürüne özgürce koyabilirsiniz.

Günlük kullanımda hızlı. Bir RTX 3060'ta yaklaşık 133 tok/s görürsünüz, M serisi bir Max 151 tok/s civarında durur, bir 4090 ise onu 370 tok/s'nin ötesine taşır ki bu, okuyabileceğinizden çok daha hızlıdır. 128K bağlam öne çıkan rakam ama ona temkinli yaklaşın: doldurursanız toplam bellek yaklaşık 14.3 GB'a tırmanır, bu da modelin boştayken ihtiyaç duyduğu 6 GB'ın çok ötesindedir. Küçük bir GPU'da çalışma bağlamını birkaç bin token'da tutun, rahat edersiniz. DDR5 üzerinde CPU bile kısa istemler için 22 tok/s civarını yakalar.

Boyutunu asıl belli ettiği yer derinlik. Akıl yürütme ve çok adımlı talimatlarda, kabaca aynı parametre sayısında olmasına rağmen genelde Qwen 3 4B üstündür; gerçek akıl yürütme alanına ihtiyacınız varsa Phi-4 14B bariz bir üst basamaktır. Phi-4 Mini'nin öne çıkan özelliği verimliliği: düz sohbet ve özetlemede 3.8B'lik boyutunun üzerinde performans verirken, neredeyse her yerde çalışacak kadar küçük kalıyor, üstelik MIT lisanslı ve kısıtlamasız. Hızlı yüklenen ve yolunuzdan çekilen ufak bir yerel asistan istiyorsanız, bu güçlü bir varsayılan.