Qwen 3 30B-A3B çalıştırabilir miyim?

Qwen 3 30B-A3B bir mixture-of-experts (uzman karması) modeli ve bu tek gerçek, modeli nasıl değerlendirmen gerektiğini baştan sona belirliyor. Kâğıt üzerinde 30.5B parametresi var ama her token için bunların yalnızca 3.3B'si aktif oluyor; yani küçük bir modelin hızında çalışırken büyük bir modelin genişliğiyle akıl yürütüyor. Püf noktası bellekte: yine de modelin tamamını RAM'de tutman gerekiyor. 4-bit quant yaklaşık 18.5 GB ve model rahat nefes almak için en az 32 GB istiyor. Bu da RTX 3060 gibi 12 GB'lık bir kartı dışarıda bırakıyor ama 32 GB Apple Silicon Mac'e rahatça sığıyor; context'i ölçülü tutarsan 24 GB'lık bir 4090'a da olur.

Günlük kullanımda MoE tasarımı, teknik özet sayfasının hakkını veremediği bir şekilde işe yarıyor. Bir 4090'da saniyede yaklaşık 428 token görebiliyorsun ve bir M-serisi Max bile kabaca 174 tok/s ile hızlı kalıyor; aynı donanımda yoğun (dense) bir 30B'nin asla ulaşamayacağı bir hız. DDR5 üzerinde yalnızca CPU ile bu rakam yaklaşık 25 tok/s'ye düşüyor; toplu işler için kullanılabilir ama etkileşimli sohbet için değil. 128K context gerçek, ama bütçeye dikkat: tamamını doldurmak toplam belleği yaklaşık 49.1 GB'a çıkarıyor. Bu yüzden 32 GB'lık bir makinede çalışma context'ini ölçülü tut ve tüm pencereyi zorlamak yerine daha küçük bir quant'a yaslan.

Neredeyse aynı parametre sayısına (30.7B) sahip Gemma 4 31B ile karşılaştırınca takas net. Gemma yoğun (dense) bir model ve üstüne kod ile görü (vision) yetenekleri ekliyor; bu yüzden multimodal ve yapılandırılmış kod işlerinde daha güçlü hissettiriyor. Buna karşılık Qwen 3 30B-A3B'nin seyrek (sparse) tasarımı, bu boyut sınıfında sohbet ve akıl yürütmede onu token başına çarpıcı biçimde daha hızlı yapıyor. Kapladığı yere göre bu hız, modelin öne çıkan özelliği. Ayrıca Apache 2.0 lisansıyla geliyor; yani sağlayıcıya özgü açık-ağırlık koşullarının aksine, hiçbir lisans çekincesi olmadan onu ticari ve üretim işlerinde özgürce kullanabilirsin.