Qwen 3 8B çalıştırabilir miyim?

Qwen 3 8B, sadece sohbet eden değil, biraz da gerçekten düşünebilen yerel bir asistan istediğinizde uzanacağınız model. 4-bit niceleme ile yaklaşık 5 GB'a sığıyor, yani 8 GB'lık bir GPU'ya rahatça yerleşiyor; 8 GB minimum RAM şartı da temel bir Apple Silicon Mac'in ya da orta seviye bir masaüstünün onu sorunsuz çalıştırabileceği anlamına geliyor. Asıl öne çıkan özelliği hibrit düşünme modu: yanıt vermeden önce bir problemi adım adım akıl yürüterek fazladan token harcayabiliyor. İnsanların onu aynı 8B sınıfındaki düz sohbet modellerine tercih etmesinin nedeni de bu.

Günlük kullanımda hızlı hissettiriyor. RTX 3060 12GB üzerinde kabaca ~62 tok/s, M serisi Max'te ~70 tok/s, RTX 4090 ise onu ~172 tok/s'ye kadar çıkarıyor; hepsi de yanıtların okuma hızınızı geçeceği kadar hızlı. Sadece CPU ile DDR5'te bu ~10 tok/s'ye düşüyor; toplu işler için yeterli ama etkileşimli kullanım için değil. 128K bağlam gerçek, ama dikkatli olun: bağlamı sonuna kadar doldurmak toplam belleği yaklaşık 22 GB'a çıkarıyor; bu da 8 GB'lık bir kartın tutabileceğinin çok ötesinde. O yüzden elinizde yer yoksa çalışma bağlamını ölçülü tutun veya 3.4 GB'lık q2 sürümüne inin.

Esas olarak sohbete yönelik, benzer boyutta bir açık model olan Granite 3.3 8B ile karşılaştırıldığında, Qwen 3 8B düşünme modu sayesinde çok adımlı akıl yürütme ve matematikte genellikle önde; Granite ise daha sohbet odaklı hissettiriyor. En dikkat çekici özelliği, bu kadar küçük bir pakette o akıl yürütme anahtarına sahip olması. Lisans tarafı ise işin kolay kısmı: Apache 2.0, modeli ticari olarak ve üretimde, sağlayıcıya özel hiçbir bağlayıcı koşul olmadan kullanabileceğiniz anlamına geliyor. Bu boyutta olması gerekenden çok daha nadir bir durum.