Devstral Small 2 24B çalıştırabilir miyim?

Devstral Small 2, Mistral'in 24B'lik kodlama modeli ve adı, ne kadar donanım istediğini olduğundan az gösteriyor. 4-bit quant ile ağırlıklar yaklaşık 14.6 GB tutuyor, yani çoğu insanın elindeki 12 GB'lık kartlar yetersiz kalıyor: RTX 3060'a tek kelimeyle sığmıyor. Modeli rahatça çalıştırmak için gerçekçi olarak 24 GB belleğe ihtiyacınız var; pratikte bu da 4090 gibi 24 GB'lık bir GPU ya da en az 24 GB birleşik belleğe sahip bir Apple Silicon Mac demek. 2-bit quant'a düşerseniz boyut yaklaşık 10.1 GB'a iniyor, ama tüm amacı dikkatli kod üretmek olan bir model için bu ciddi bir kalite ödünü.

4090'da 4-bit ile saniyede yaklaşık 59 token bekleyebilirsiniz; bu, modelin dosyaları okuyup plan yapıp düzenleme yaptığı agentic bir kodlama döngüsü için gerçekten keyifli bir hız. M serisi Max'te ise rakam 24 tok/s'ye yaklaşıyor; etkileşimli çalışma için hâlâ kullanılabilir ama uzun üretimlerde farkı hissediyorsunuz. Manşetteki 256K bağlam gerçek ve tüm repoları besleyebilmek için faydalı, ama bedeli konusunda dürüst olmak lazım: 128K'da bile veri sayfası toplam belleği 42.1 GB civarına koyuyor, yani tek bir 24 GB'lık kartın çok ötesi. Büyük bağlamı varsayılan olarak açık bıraktığınız bir şey değil, bilinçli olarak başvurduğunuz bir araç gibi düşünün.

Kardeşleriyle kıyaslandığında Devstral, ciddi iş için doğru tercih: Mistral 7B ve Mistral Nemo 12B daha hafif ve barındırması daha kolay ama çok adımlı kodlama görevlerinde genelde daha zayıf; Gemma 4 26B A4B ise kodlama ve akıl yürütmede en yakın rakip ve belleğiniz varsa yan yana denemeye değer. Devstral'i öne çıkaran şey, tek seferlik sohbet yerine agentic, araç kullanan kod düzenleme için tasarlanmış olması; bu odak, dosyalar arasında bir planı nasıl takip ettiğinde kendini gösteriyor. Lisansı Apache 2.0, yani ticari olarak ve production'da hiçbir kısıtlama olmadan kullanabilirsiniz ki bu kadar yetenekli bir model için bu nadir bir şey.