Qwen 3 0.6B çalıştırabilir miyim?

Qwen 3 0.6B gerçekten minik bir model ve zaten olay da bu. 4-bit'te yaklaşık 0.4 GB, q8 derlemesi bile yalnızca 0.6 GB; yani 2 GB RAM'e rahat rahat sığıyor, üstüne de yer kalıyor. Bu da onu pratikte her şeyde çalışır kılıyor: eski bir dizüstü, Raspberry Pi sınıfı bir kart, bir telefon ya da herhangi bir modern GPU'nun bir köşesi. Onu her işi yapan bir asistan gibi değil; bir LLM çalıştırması beklenmeyecek donanımda yerel metin üretimi istediğinde uzandığın model gibi düşün.

Günlük kullanımda öne çıkan özelliği ham hız. Bir RTX 3060'ta saniyede yaklaşık 841 token üretiyor, M-serisi Max yaklaşık 958'de duruyor, 4090 ise kabaca saniyede 2355 token'a ulaşıyor; bu okuyabileceğinden çok daha hızlı ve sıkı döngülere ya da toplu işlere gömecek kadar hızlı. DDR5'li bir CPU'da bile yaklaşık 140 tok/s alıyorsun, gayet kullanılabilir. 32K bağlam penceresi gerçek ve her şey küçük kaldığı için tamamen dolu bir 32K bağlam toplamda yalnızca yaklaşık 1.7 GB istiyor; yani burada KV-cache baskısını pek düşünmek zorunda kalmıyorsun.

Bu takasta kendine karşı dürüst ol: 0.6B parametreyle bu bir sohbet modeli, bir akıl yürütücü değil. Çok adımlı, yapılandırılmış ya da kod ağırlıklı her şey için aynı ailedeki Qwen 3 4B genelde belirgin biçimde öne geçiyor; hatta Qwen 3 1.7B bile talimatları daha güvenilir izleme eğiliminde. Gemma 3 1B karşısında daha hafif, daha hızlı seçenek; gerçi basit sohbette benzer bir alanda yer alıyorlar. Asıl üstünlüğü ayak izi artı hız ve lisans da yardımcı oluyor: Apache 2.0, sağlayıcıya özgü hiçbir bağ olmadan, ticari kullanım dahil özgürce kullanabileceğin anlamına geliyor.