Qwen 3.5 35B-A3B çalıştırabilir miyim?

Qwen 3.5 35B-A3B, özünde işe yarar bir numara barındıran bir mixture-of-experts modeli: toplam 35B parametresinin yalnızca yaklaşık 3B'si her token için aktif. Yani küçük bir model hızında üretim yaparken, büyük bir modelin bilgisinden faydalanıyor. İşin püf noktası bellek. Modelin tamamını yine de RAM'de tutuyorsunuz, dolayısıyla aktif dilime göre değil, tam ayak izine göre plan yapın. 4-bit'te 21 GB civarına oturuyor ve en az 32 GB sistem belleği istersiniz. 12 GB'lik bir RTX 3060 bu modeli sığdıramaz, o yüzden gerçekçi olarak bu iş 24 GB'lik bir GPU ya da yüksek bellekli bir Apple Silicon makine işidir.

Bir kez sığdığında MoE tasarımı kendini gösteriyor ve ağırlık sınıfına göre hızlı hissettiriyor. Bir RTX 4090 üzerinde saniyede yaklaşık 471 token, Apple M Max üzerinde ise kabaca 192 görebilirsiniz; ikisi de cevabın okuma hızınızı geçeceği kadar hızlı. DDR5 üzerinde CPU saniyede yaklaşık 28 token çıkarıyor; yavaş ama toplu işler için kullanılabilir. Sohbet, akıl yürütme, kodlama ve görme (vision) işlerini cömert bir 256K bağlam penceresiyle kaldırıyor. Yine de bu tavana dikkatli yaklaşın: 128K bağlamda toplam bellek ayak izi yaklaşık 53.8 GB'a tırmanıyor, yani uzun bağlamlı oturumlar yalnızca ağırlıkları yüklemeye yetecek değil, gerçekten büyük bir makine ister.

Karşılaştırmaya değer aynı boydaki yoğun (dense) bir model olan Command R 35B ile kıyaslandığında, asıl fark parametre sayısı değil MoE mimarisi: nominal boy aynı, ama yalnızca 3B aktif olduğu için Qwen token başına çok daha hızlı çalışma eğiliminde. Bu hız-yetenek oranı onun öne çıkan özelliği; 35B'lik bir bilgi birikimine sahip bir modelden neredeyse anlık üretim, üstüne çok kipli (multimodal) görme desteği alıyorsunuz. Belleğiniz kısıtlıysa ve yalnızca temel sohbet gerekiyorsa daha küçük Qwen 3 0.6B ve 1.7B doğru tercihler. Lisans tarafı işin kolay kısmı: Apache 2.0, ticari kullanım ve üretim dahil olmak üzere modeli özgürce kullanabileceğiniz, sağlayıcıya özgü hiçbir şart okumanıza gerek olmadığı anlamına geliyor.