Codestral 22B çalıştırabilir miyim?

Codestral 22B, Mistral AI'nın özellikle kodlama için tasarladığı bir model; serbest sohbetten çok kod tamamlama ve üretmeye odaklı. 22.2 milyar parametresiyle çoğu kişinin başladığı 7B-12B modellere göre gerçek bir boyut sıçraması yapıyor ve bu kendini boyutta belli ediyor: 4-bit niceleme (quant) yaklaşık 13.5 GB tutuyor ve modelin rahat çalışması için en az 24 GB RAM gerekiyor. Bu da onu RTX 3060 gibi 12 GB'lık bir kartın erişiminin dışına itiyor; o kartta basitçe sığmıyor. Gerçekçi giriş noktası, RTX 4090 gibi 24 GB'lık bir GPU ya da bol unified memory'li bir Apple Silicon Mac.

RTX 4090'da 4-bit'te saniyede yaklaşık 64 token bekleyebilirsiniz; kod önerilerinin neredeyse anlık gelmesini sağlayacak kadar hızlı. Apple M serisi Max ~26 tok/s ile biraz daha aşağıda kalıyor ama etkileşimli düzenleme için hâlâ kullanılabilir; DDR5 üzerinde yalnızca CPU ile çalışınca ise ~4 tok/s'ye düşüyor ki bu gerçekten sadece başından kalkıp bekleyebileceğiniz toplu işler için. Bağlam penceresi 32K; bugünün standartlarına göre mütevazı ama çoğu tek dosyalık ve küçük repo işi için fazlasıyla yeterli. Tamamen doldurduğunuzda toplam yaklaşık 20.1 GB belleğe bakıyorsunuz, yani 24 GB'lık bir kartta tam bağlam çok az boşluk bırakıyor.

Aynı aileden modellerle karşılaştırınca Codestral uzman olan taraf: belleğiniz kısıtlıysa Mistral Nemo 12B daha hafif, genel amaçlı sohbet tercihidir ve GPT-OSS 20B genellikle akıl yürütme ile sohbette öne çıkar. Codestral'ın öne çıkan özelliği, birçok dilde özellikle kod için eğitilmiş olması; bu yüzden fill-in-the-middle (ortayı doldurma) tamamlamada ve üretimde aynı boyuttaki genel amaçlı bir modele göre daha isabetli his veriyor. Ciddi uyarı ise lisansta: Codestral, Mistral'ın MNPL lisansıyla, yani üretim dışı (non-production) bir lisansla geliyor; dolayısıyla onu ticari olarak ya da bir üretim ürününde kullanamazsınız. Yalnızca araştırma ve kişisel kullanım aracı olarak değerlendirin.