Qwen 3.5 122B-A10B çalıştırabilir miyim?

Qwen 3.5 122B-A10B, sınır seviyesinde sohbet, akıl yürütme, kod yazma ve görsel anlama yeteneklerini kendi donanımında çalıştırmak isteyenler için büyük bir mixture-of-experts (MoE) modeli. İşin tamamı MoE tasarımında: 122B toplam parametrenin yalnızca 10B'si her token için aktif oluyor, dolayısıyla bu boyuttaki yoğun (dense) bir modele kıyasla çok daha hızlı üretim yapıyor. Asıl sorun bellek, çünkü modelin tamamını yine de bellekte tutman gerekiyor. 4-bit niceleme (quant) ile bu yaklaşık 74 GB ediyor ve modeli yükleyebilmek için kabaca 96 GB RAM gerekiyor. Pratikte bu, yüksek bellekli bir iş istasyonu ya da bol miktarda birleşik (unified) belleğe sahip bir Apple Silicon Mac demek; 24 GB'lık bir RTX 4090'a sığmıyor, 12 GB'lık bir karta ise hiç sığmaz.

Sığdığı yerde ise o 10B aktif parametre sayesinde boyutuna göre şaşırtıcı derecede hızlı hissettiriyor. Bir M Max üzerinde saniyede yaklaşık 57 tok/s bekleyebilirsin; akarken rahatça okuyacak kadar hızlı. Yalnızca CPU ile çalışan bir DDR5 makinede ise bu hız kabaca 8 tok/s'ye düşüyor ve canlı sohbetten çok toplu (batch) işler için uygun hale geliyor. Bağlam penceresi 256K'ya kadar çıkıyor, ama bunu bir tavan olarak gör. Bellek, gerçekte ne kadarını doldurduğunla birlikte büyüyor ve 128K bağlamda toplam ayak izi yaklaşık 131 GB'a tırmanıyor; yani uzun bağlam rakamları, bunun için kurulmuş bir makineyi varsayıyor.

Neredeyse aynı parametre sayısında duran Devstral 2 123B ile karşılaştırıldığında, Qwen 3.5 genel olarak salt kod odağını genişlikle takas ediyor: tek bir modelde uzmanlaşmak yerine sohbet, akıl yürütme ve görsel anlamayı bir arada sunuyor. Bu çok yönlülük onun öne çıkan özelliği; mütevazı donanımda yalnızca hafif sohbete ihtiyacın olduğunda ise daha küçük Qwen 3 0.6B ve 1.7B kardeşleri hâlâ mantıklı seçim olmayı sürdürüyor. Lisansı Apache 2.0, dolayısıyla onu ticari olarak ve üretimde kısıtlama olmadan kullanabilirsin; bu yetenek seviyesinde nadir görülen bir şey ve daha kısıtlı ağırlıklar yerine onu seçmek için gerçek bir neden.