Qwen3-VL 30B-A3B çalıştırabilir miyim?

Qwen3-VL 30B-A3B, Alibaba'nın mixture-of-experts mimarili görme (vision) modeli ve asıl numara isimde gizli: toplam 30B parametre, ama token başına yalnızca 3B aktif. Bu da modelin küçük bir model hızında çalışması, buna karşın bütünü için belleğe ihtiyaç duyması anlamına geliyor. 4-bit niceleme (quant) ile boyut yaklaşık 18.2 GB'a oturuyor; rahatça çalıştırmak için en az 32 GB RAM istiyorsunuz. RTX 3060 gibi 12 GB'lık bir karta sığmıyor, ama bol unified memory'li bir Apple Silicon makine ya da 24 GB'lık bir GPU onun doğal evi. Yerelde görüntü anlama ile sohbet ve akıl yürütmeyi bir arada isteyenler için tasarlanmış.

Günlük kullanımda aktif-3B tasarımı kendini ödetiyor: bir RTX 4090'da saniyede yaklaşık 471 token görebiliyorsunuz, hatta Apple M Max bile kabaca 192 tok/s ile çevik kalıyor; görme yanıtlarının anında gelmiş gibi hissettirecek kadar hızlı. DDR5'li bir CPU'da ise yaklaşık 28 tok/s'ye düşüyor; kullanılabilir ama artık çevik değil. 256K bağlam penceresi pazarlama tavanı, bedava öğle yemeği değil. Onu doldurmak pahalı: 128K bağlamda model artı önbellek toplamda yaklaşık 48.6 GB'a tırmanıyor; bu yüzden belleğinizi spec sayfasındaki maksimuma göre değil, gerçekten kullandığınız bağlama göre planlayın.

Buradaki en yakın akraba model olan Gemma 4 31B ile kıyasladığımızda ikisi boyut açısından benzer bir bölgede duruyor; ama Gemma 4, her parametreyi etkinleştiren dense (yoğun) bir 30.7B model, dolayısıyla Qwen3-VL kapladığı alana göre genelde daha hızlı hissettirirken Gemma saf akıl yürütme ve kod yazımında daha istikrarlı olma eğiliminde. Qwen3-VL'nin öne çıkan özelliği, tüketici donanımında bu kadar hızlı bir modele paketlenmiş görme yeteneği; ki bu yerelde hâlâ pek rastlanan bir şey değil. Apache 2.0 lisansıyla geliyor, yani sağlayıcıya özgü kısıtlamalar olmadan ticari olarak ve üretimde kullanabilirsiniz. qwen3-vl:30b Ollama etiketiyle çekin ve başlayın.