Mistral Small 3.1 24B çalıştırabilir miyim?

Mistral Small 3.1 24B, 8B'lik bir modelin zor promptlarda sizi sürekli hayal kırıklığına uğrattığı ama 70B'ye çıkmak istemediğiniz noktada uzanacağınız model. 24B'lik bir sohbet ve görü (vision) modeli, yani metnin yanında görselleri de okuyor; üstelik Apache 2.0 lisansıyla geliyor, bu da hiçbir kısıtlama olmadan ticari olarak ve production'da kullanabileceğiniz anlamına geliyor. İşin püf noktası ise bellek ayak izi: 4-bit niceleme (quant) ile yaklaşık 14.6 GB'a oturuyor ve rahat çalıştırmak için kabaca 24 GB belleğe ihtiyacınız var. Bu, RTX 3060 gibi 12 GB'lik bir kartı devre dışı bırakıyor; oraya basitçe sığmıyor. Sizi 24 GB'lik bir GPU'ya ya da bol unified bellekli bir Apple Silicon Mac'e yönlendiriyor.

RTX 4090 gibi 24 GB'lik bir kartta 4-bit ile saniyede yaklaşık 59 token hızında ilerliyor; bu sizin okuma hızınızdan daha hızlı akıyor ve bu boyutta bir model için gerçekten çevik hissettiriyor. M-series Max üzerinde saniyede 24 token'a daha yakın bir hız söz konusu, interaktif sohbet için hâlâ gayet kullanılabilir. DDR5 ile yalnızca CPU'da hız saniyede yaklaşık 4 token'a düşüyor; gece boyunca sürecek bir batch işi için uygun ama başında oturup beklemek için değil. 128K bağlam penceresi gerçek, ama pahalı: pencereyi sonuna kadar doldurun, toplam bellek yaklaşık 42 GB'a tırmanıyor; bu da modelin kısa bağlamda ihtiyaç duyduğunun çok ötesinde. Bu yüzden bol yeriniz yoksa çalışma bağlamını ölçülü tutun.

Kendi ailesi içinde ağır siklet olan o: bellek kısıtlıysanız Mistral Nemo 12B daha hafif ve hızlı tercih, Mistral 7B ise en alt seviyedeki seçenek; ama ikisi de zor muhakeme ve talimat takibinde Small 3.1'in seviyesine ulaşamıyor. Ham yetenek açısından en yakın rakip Gemma 4 26B A4B; ayrıca kodlama ve muhakeme alanlarında güçlü, dolayısıyla bu işler sizin için en önemliyse ikisini karşılaştırın. Small 3.1'in öne çıkan özelliği, nadiren bir arada bulduğunuz şu üçlü: yerleşik görü (vision), uzun bağlam ve tamamen serbest Apache 2.0 lisansı. Bu da onu bir üründe gerçekten devreye almanın en kolay olduğu yetenekli modellerden biri yapıyor.