Qwen 3.6 35B-A3B çalıştırabilir miyim?

Qwen 3.6 35B-A3B bir mixture-of-experts modeli ve aslında kime hitap ettiğinin tüm hikayesi de burada. Toplam 35B parametre taşıyor ama token başına yalnızca 3B'sini etkinleştiriyor; yani küçük bir modelin hızıyla çalışırken büyük bir modelin belleğine ihtiyaç duyuyor. 4-bit niceleme (quant) ile ağırlıklar yaklaşık 21.2 GB'a oturuyor, ancak modelin tüm expert setini bellekte tutması için yine de en az 32 GB RAM gerekiyor. Bu da RTX 3060 gibi 12 GB'lık bir kartı devre dışı bırakıyor; oraya sığmıyor. Doğal evi 24 GB'lık bir RTX 4090 ya da bol unified memory'ye sahip bir Apple Silicon Mac.

Günlük kullanımda aktif-3B matematiği işe yarıyor: bir 4090 üzerinde saniyede yaklaşık 471 token, M serisi bir Max'te ise yaklaşık 192 token görebilirsiniz; bu, kendisinin üçte biri boyutundaki çoğu yoğun (dense) modelden bile hızlı. DDR5 üzerinde CPU çıkarımı bile saniyede yaklaşık 28 token çıkarıyor, toplu işler için kullanılabilir seviyede. Sohbet, akıl yürütme, kodlama ve görme (vision) görevlerinin hepsini hallediyor, dolayısıyla tek başına her işi yapan yerel bir model olarak hakkını veriyor. 256K bağlam penceresi cömert, ama püf noktası bellek: sadece 128K'yı doldurmak bile toplam ayak izini yaklaşık 53.8 GB'a çıkarıyor; uzun bağlam işleri 24 GB'lık bir kart değil, 64 GB'lık bir makine istiyor.

Aynı soydan yoğun (dense) Command R 35B ile karşılaştırıldığında, bu MoE aynı nominal boyutta genellikle çok daha hızlı hissettiriyor; çünkü 35B'lik belleğin bedelini ödüyor ama 3B gibi hesaplıyorsunuz. Takas her zamanki MoE takası: yoğun bir 35B, en zorlu tek seferlik akıl yürütme görevlerinde bazen öne geçebiliyor, gerçi çoğu iş için hız kazanıyor. En öne çıkan özelliği, bu hız-yetenek oranının yanında tek pakette gelen yerel görme (vision) desteği. Lisansı Apache 2.0, yani sağlayıcıya bağlı hiçbir koşul olmadan ticari olarak ve üretimde özgürce kullanabilirsiniz.