Qwen3 Coder Next 80B-A3B çalıştırabilir miyim?

Qwen3 Coder Next 80B-A3B bir kodlama uzmanı ve Mixture-of-Experts mimarisiyle kurulu; işin tüm özeti de bu mimaride. Toplam 80B parametresi var ama token başına yalnızca 3B'sini etkinleştiriyor, dolayısıyla boyutunun düşündürdüğünden çok daha hızlı çalışıyor; yine de modelin tamamını bellekte tutmanız gerekiyor. 4-bit'te yaklaşık 48.5 GB tutuyor ki bu da tüm tüketici GPU'larını eler: 24 GB'lık RTX 4090'a sığmıyor, 12 GB'lık 3060'tan hiç bahsetmiyorum bile. Gerçekçi adresi, bol birleşik belleğe sahip bir Apple Silicon Mac ya da 64 GB ve üzeri sistem RAM'i olan bir iş istasyonu. Planınızı aktif 3B'ye değil, minimum 64 GB rakamına göre yapın.

Günlük kullanımda MoE tasarımı kendini gösteriyor. Bir Apple M Max üzerinde saniyede yaklaşık 192 token akıtıyor ki bu, kod tamamlama ve refactoring için anlık hissettiriyor; DDR5 üzerinde saf CPU çıkarımı bile saniyede yaklaşık 28 token çıkarıyor — yavaş ama bu boyutta bir model için gerçekten kullanılabilir. 256K'lık bağlam penceresi, depoların tamamı üzerinde çalışmak için öne çıkan özellik; ama püf nokta bellekte: 128K bağlamda toplam ayak izi yaklaşık 95.8 GB'a tırmanıyor. Devasa bir kod tabanını yüklemeden önce bunu aklınızda tutun, çünkü 64 GB'lık bir makinede sizi sınırın ötesine itecek olan ağırlıklar değil, KV cache'tir.

Kendi ağırlık sınıfındaki Llama 3.1 70B gibi yoğun (dense) alternatiflerle kıyaslandığında bu model, genel olarak ham genişlikten ödün verip kodlama odağı ve hız kazanıyor: MoE yönlendirmesi sayesinde 70B'lik yoğun bir modelden daha hızlı yanıt veriyor ve genel sohbet yerine kodda uzmanlaşıyor — genel sohbet için daha küçük Qwen 3 sohbet sürümleri zaten daha uygun. Öne çıkan özelliği, 80B sınıfı bir modelden neredeyse anlık üretim elde etmesini sağlayan o hız-boyut oranı. Pratik bir bonus da lisansı: Apache 2.0, yani önce baştan okumanız gereken sağlayıcıya özgü kısıtlamalar olmadan onu ticari ve üretim işlerinde özgürce kullanabilirsiniz.