Ministral 3 8B çalıştırabilir miyim?

Ministral 3 8B, Mistral'in 2025 sonunda çıkardığı küçük, her işi gören yerel model yorumu; hem sohbeti hem de görselleri aynı 8B'lik pakette hallediyor. 4-bit quant'ta yaklaşık 4.9 GB tutuyor, yani 8 GB'lık bir GPU'ya bol bol sığıyor ve herhangi bir Apple Silicon Mac'in birleşik belleğinde rahatça çalışıyor. 8 GB minimum RAM rakamı yalnızca ağırlıklar için dürüst bir değer; bu da modeli iş istasyonu gerektiren bir şey olarak değil, bir dizüstüde ya da ucuz ikinci el bir GPU'da gerçekçi bir tercih olarak konumlandırıyor.

Günlük kullanımda hızlı hissettiriyor. RTX 3060'ta 4-bit'te saniyede yaklaşık 63 token bekleyebilirsiniz, RTX 4090 bunu kabaca 177'ye çıkarıyor, M serisi Max ise 72 civarında oturuyor; hepsi de akan bir yanıtı okuyabileceğinizden daha hızlı. Asıl manşet 256K bağlam penceresi, ama bunu varsayılan değil bir tavan olarak görün. 128K bağlamda toplam bellek ayak izi yaklaşık 21.7 GB'a tırmanıyor; bu da 8 GB'lık bir kartın tutabileceğinin çok ötesinde. Bu yüzden uzun pencereyi destekleyecek VRAM'iniz yoksa çalışma bağlamını birkaç bin token ile sınırlı tutun.

Kardeşleri arasında ortayı buluyor: Mistral Nemo 12B, daha büyük modeli kaldırabiliyorsanız zor akıl yürütme için genelde daha fazla alan tanıyor; Mistral 7B ise bellek kısıtlıyken daha yalın bir yedek. Ministral 3 8B'nin öne çıkan özelliği, görsel yeteneğin de aynı küçük ayak izine sığması; böylece daha ağır bir çok kipli (multimodal) modele geçmeden görüntü anlama elde ediyorsunuz. Apache 2.0 lisansıyla geliyor; bu da onu sağlayıcıya özel hiçbir bağ olmadan ticari olarak ve üretimde kullanabileceğiniz anlamına geliyor — bu kadar yetenekli bir model için gerçekten temiz bir lisans.