Qwen3-Next 80B-A3B çalıştırabilir miyim?

Qwen3-Next 80B-A3B, Alibaba'nın bir mixture-of-experts (uzman karışımı) modeli ve manşetteki sayı işe yarar biçimde yanıltıcı: toplam 80B parametresi var ama her token için bunların yalnızca yaklaşık 3B'sini yönlendiriyor. Yani küçük bir modelin hızında üretim yaparken büyük bir modelin bilgisinden faydalanıyor. İşin püf noktası bellek. Modelin tamamını yine de RAM ya da VRAM'de tutman gerekiyor; dolayısıyla 4-bit niceleme (quant) ile yaklaşık 48.5 GB seviyesinde bile çalıştırmak için en az 64 GB lazım. Bu da tek bir tüketici GPU'sunu devre dışı bırakıp seni yüksek bellekli bir makineye yönlendiriyor.

Pratikte bu, oyuncu GPU'su değil, Apple Silicon ya da iş istasyonu modeli. Yeterli unified memory'ye sahip bir M Max üzerinde saniyede kabaca 192 token akıtıyor; bu, 80B sınıfı bir model için gerçekten hızlı ve insanların ona yönelmesinin başlıca sebebi. 12 GB'lık bir RTX 3060 ya da 24 GB'lık bir RTX 4090 modeli yükleyemiyor bile. DDR5 ile CPU üzerindeysen yaklaşık 28 tok/s ile yine çalıştırabilirsin; daha yavaş ama toplu işler için iş görür. 256K bağlam gerçek, ama açgözlü: 128K'ya doğru yüklendiğinde toplam bellek yaklaşık 95.8 GB'a çıkabiliyor, o yüzden doldurmadan önce pay bırak.

Bariz yoğun (dense) karşılaştırma olan Llama 3.1 70B ile kıyasladığında, Qwen3-Next boyutuna göre belirgin biçimde daha hızlı hissettiriyor; çünkü her adımda yalnızca 3B parametre aktifken Llama'nın 70B'nin tamamını çalıştırması gerekiyor. Sohbet ve akıl yürütmedeki kalite rekabetçi, ancak yoğun 70B modeller en zorlu çok adımlı promptlarda hâlâ üstünlüğü koruyabiliyor. Öne çıkan özelliği bu hız-boyut oranı: belleği barındıracak gücün varsa, küçük model gecikmesinde büyük model genişliği. Lisansı Apache 2.0, yani sağlayıcıya özgü bağlayıcı koşullar olmadan ticari olarak ve üretimde özgürce kullanabilirsin.