Devstral 24B çalıştırabilir miyim?

Devstral 24B, Mistral AI'nin kodlama uzmanı modeli; genel amaçlı bir sohbet arkadaşı değil, yazılım işleri için yetenekli bir yerel ajan isteyenler düşünülerek yapılmış. 24B yoğun (dense) parametresiyle hafif sıklet değil: 4-bit niceleme yaklaşık 14.6 GB tutuyor ve modelin rahatça çalışması için en az 24 GB civarında RAM gerekiyor. Bu da onu RTX 3060 gibi 12 GB'lik bir kartın erişiminin dışına çıkarıyor; oraya zaten sığmıyor. Doğal evi, RTX 4090 gibi 24 GB'lik bir GPU ya da bol unified bellekli bir Apple Silicon Mac. Yerden tasarruf etmen gerekiyorsa 2-bit sürüm yaklaşık 10.1 GB'a iniyor.

Günlük kodlama kullanımında bir RTX 4090 üzerinde 4-bit'te saniyede yaklaşık 59 token bekleyebilirsin; üretilen kod sen okurken akıcı şekilde akacak kadar hızlı. Apple M serisi Max üzerinde bu rakam saniyede 24 token'a yakın oturuyor, etkileşimli çalışma için hâlâ gayet kullanışlı. Yalnızca CPU ile DDR5 üzerinde ise saniyede yaklaşık 4 token'a düşüyor ki bu sabır gerektiren bir bölge. 128K bağlam penceresi gerçekten büyük, ama bedava değil: onu doldurmak toplam belleği yaklaşık 42.1 GB'a çıkarıyor, modelin boştaki ayak izinin çok ötesine geçiyor; dolayısıyla bol kaynağın yoksa çalışma bağlamını ölçülü tut.

Aynı aileden modellere kıyasla Devstral 24B ağır sıklet olan: Mistral 7B ve Mistral Nemo 12B çok daha hafif ve genel sohbete yönelik, dolayısıyla Devstral'in dokunamayacağı donanımlarda çalışırlar ama gerçek kodlama görevlerinde genelde onun gerisinde kalırlar. Daha yakın bir karşılaştırma Gemma 4 26B A4B; benzer boyutta bir model olup kodlamanın yanında sohbet, akıl yürütme ve görüntü işlemeyi de kaldırıyor ve her iş için tek bir model istiyorsan daha çok yönlü genelci olma eğiliminde. Devstral'in öne çıkan özelliği koda olan dar odağı; Apache 2.0 lisansı sayesinde de ticari üretim dahil olmak üzere onu özgürce kullanabilirsin.