Qwen 3 1.7B çalıştırabilir miyim?

Qwen 3 1.7B, anında yüklenen ve donanımını neredeyse hiç zorlamayan yerel bir asistan isteyenler için minik bir sohbet modeli. 4-bit quant'ta diskte yaklaşık 1 GB yer kaplıyor ve tamamı kabaca 3 GB RAM içinde çalışıyor; yani neredeyse her şeye sığıyor: eski bir dizüstü, Raspberry Pi sınıfı bir kart, bir telefon ya da var olduğunu unuttuğun düşük seviye bir GPU. Ayrı bir ekran kartın yoksa ya da bellek derdine hiç girmeden arka planda bir şey çalıştırmak istiyorsan başvuracağın model bu.

Gerçek bir GPU üzerinde neredeyse saçmalık derecesinde hızlı. RTX 3060 saniyede yaklaşık 297 token üretiyor, 4090 ise 831'i aşıyor; Apple Silicon M Max ise 338 civarında. DDR5 üzerinde saf CPU bile saniyede yaklaşık 49 token çıkarıyor ki bu hâlâ senin okuma hızından daha hızlı. Bağlam penceresi 32K ve ağır sıkletlerin aksine burada onu fazla zorlanmadan gerçekten doldurabilirsin: tam 32K bağlamda toplam ayak izi yalnızca 3.1 GB civarında, dolayısıyla mütevazı bir makine uzun bir konuşmayı bellekte rahatça tutabiliyor.

Dürüst olalım: 1.7B parametreyle bu bir sohbet modeli, bir akıl yürütme motoru değil. Kısa soru-cevap, yeniden ifade etme ve basit tool-calling işlerini sorunsuz hallediyor; ama çok adımlı mantıkta ya da gerçek planlama gerektiren her şeyde kırılganlaşıyor. Belleğin varsa Qwen 3 4B genelde gözle görülür biçimde daha iyi akıl yürütüyor; daha da kısıtlıysan Qwen 3 0.6B bir alt basamak olarak daha hafif kalıyor, SmolLM2 1.7B ise aynı boyutta, karşılaştırmaya değer bir rakip. En güçlü yanı hız-boyut oranı ve Apache 2.0 olduğu için ticari olarak ve üretimde lisans derdine girmeden kullanabilirsin.