Devstral 2 123B çalıştırabilir miyim?

Devstral 2 123B, Mistral'ın büyük yoğun (dense) kodlama modeli ve ciddi yerel kodlama kurulumları yapan kişilere hitap ediyor; laptop kitlesine değil. 4-bit niceleme ile yaklaşık 74.6 GB yer kaplıyor ve bu zaten her şeyi anlatıyor: 12 GB'lık RTX 3060'a ya da 24 GB'lık RTX 4090'a sığmıyor, nokta. Rahatça yüklemek için kabaca 96 GB belleğe ihtiyacın var; yani gerçekçi olarak ya yüksek bellekli bir Apple Silicon makinesi ya da bol RAM'li bir iş istasyonu gerekiyor. Bu, donanımını etrafında planladığın bir model; öylesine indirip denediğin bir model değil.

Günlük kullanımda dürüst uyarı şu: hız. Apple M Max üzerinde saniyede yaklaşık 5 token alıyorsun, yalnızca CPU çalışan bir DDR5 makinede ise bu rakam saniyede yaklaşık 1 token'a düşüyor; bu da interaktif sohbetten çok toplu iş (batch) bölgesine yakın. Kodu iyi okuyup yazıyor ama her yanıtın yavaş yavaş akışını hissedeceksin. Bağlam penceresi kâğıt üstünde cömert bir 256K, ancak gerçek sınır bellek: 128K bağlama çıkmak bile toplamda yaklaşık 132 GB istiyor, dolayısıyla 96 GB'lık bir makinede çalışma bağlamını mütevazı tutup daha kısa ve odaklı promptlara yaslanıyorsun.

related_models içindeki MoE tabanlı Qwen 3.5 122B-A10B ile karşılaştırınca denge net: o model her token'da ağırlıklarının yalnızca bir dilimini aktive ediyor ve benzer parametre sayısında genelde daha hızlı hissettiriyor; Devstral 2 ise 123B parametrenin her birini her token'da çalıştırıyor. Devstral'ın öne çıkan yanı, yeterli belleğin varsa uzun bağlamlı, odaklı ve yoğun (dense) bir Mistral kodlama uzmanı olması. Lisansla ilgili pratik bir not: Modified MIT lisansıyla geliyor, dolayısıyla herhangi bir ticari dağıtımdan önce sade MIT özgürlüğü varsaymak yerine özel şartları okumakta fayda var.