Ministral 3 14B çalıştırabilir miyim?

Ministral 3 14B, Mistral'in Aralık 2025'te çıkardığı orta boy modeli: 14B parametreli yoğun (dense) bir ağ ve aynı zamanda görüntü de işliyor. Yani hem sohbet eden hem de görselleri okuyan tek bir yerel model isteyip iki ayrı checkpoint ile uğraşmak istemediğinizde tercih edeceğiniz model bu. 4-bit niceleme (quant) ile boyutu yaklaşık 8.5 GB'a oturuyor; bu da 8 GB'lık bir kartın rahatça taşıyabileceğinin biraz ötesinde ama 12 GB'lık bir RTX 3060'ta veya 16 GB ve üzeri birleşik belleğe sahip herhangi bir Apple Silicon Mac'te tam kıvamında. Eğer iyice sıkıştıysanız 2-bit sürüme inerek boyutu yaklaşık 5.9 GB'a düşürebilirsiniz; q8 sürümü ise 15 GB'a daha yakın.

Günlük kullanımda boyutuna göre hızlı hissettiriyor. RTX 3060 12 GB'da 4-bit ile saniyede yaklaşık 36 token göreceksiniz; bu da okuma hızının rahatça üzerinde. RTX 4090 ise bunu kabaca 101 tok/s seviyesine çıkarıyor. M serisi Max yaklaşık 41 tok/s civarında kalıyor. 256K bağlam penceresi öne çıkan rakam, ama bunu varsayılan değil bir tavan olarak görün: 128K'da bile KV cache dolduğunda toplam bellek yaklaşık 30 GB'a tırmanıyor ki bu tek bir 12 GB veya 16 GB cihazın çok ötesinde. Elinizde yedek olarak 24 GB üzeri bir kart yoksa çalışma bağlamını birkaç bin token ile sınırlı tutun.

Komşularıyla kıyaslandığında Ministral 3 14B, daha büyük ve daha yeni olması sayesinde Mistral 7B ve Mistral Nemo 12B gibi eski kardeşlerine kıyasla zorlu, çok adımlı promptlarda genellikle bir adım önde. OLMo 2 13B ise sizin için ham yetenekten çok tekrar üretilebilirlik (reproducibility) önemliyse tam-açık-veri alternatifi olarak duruyor. Asıl öne çıktığı nokta, bu boyutta yerleşik görüntü (vision) yeteneğini gerçekten kullanılabilir bir hız profiliyle sunması. Lisans tarafı ise işin kolay kısmı: Apache 2.0, yani sağlayıcıya özel hiçbir bağlayıcı şart olmadan ticari olarak ve üretimde kullanabilirsiniz.