Gemma 3 1B çalıştırabilir miyim?

Gemma 3 1B, Google'ın ufak bir sohbet modeli; anında yüklenen ve neredeyse her yerde çalışan yerel bir asistan istediğiniz senaryolar için tasarlandı. 4-bit niceleme (quant) ile boyutu yalnızca 0.6 GB civarında; 8-bit yapısı bile kabaca 1.1 GB, yani 3 GB RAM'e rahatça sığar. Bu da onun eski bir dizüstünde, Raspberry Pi sınıfı bir cihazda veya telefon seviyesi bir çipte, ayrı bir GPU'ya hiç ihtiyaç duymadan çalışabileceği anlamına gelir. Hızlı sohbet, taslak çıkarma ya da her megabaytın önemli olduğu bir uygulamaya gömme gibi işler için aradığınız model budur.

Günlük kullanımda asıl konu ham hız. Bir RTX 4090 üzerinde saniyede yaklaşık 1413 token üretiyor; daha tipik bir RTX 3060 hâlâ ~505 tok/s, Apple M Max ise ~575 tok/s civarında. DDR5 üzerinde saf CPU bile kabaca 84 tok/s'ye ulaşıyor; yani okuyabileceğinizden daha hızlı. Bağlam penceresi 32K ve büyük modellerin aksine bunun iyi bir kısmını ucuza doldurabilirsiniz: tam 32K'da her şey toplamda 2.2 GB civarında oturuyor, dolayısıyla burada sizi durduran şey asla bellek olmuyor.

Boyutu konusunda dürüst olmak gerek: 1B parametreyle bu bir akıl yürütme ya da kodlama modeli değil ve uzun, çok adımlı talimatlarda kopacaktır. Yeterince yeriniz varsa Gemma 3 4B genelde daha zorlu istemleri daha iyi kaldırır ve görüntü desteği ekler; düz sohbette karşılaştırmak için aynı ağırlık sınıfındaki bariz alternatif ise Llama 3.2 1B. Gemma 3 1B'nin öne çıkan özelliği, çalıştırabileceğiniz gerçekten kullanılabilir en küçük sohbet modeline yakın olması. Bir uyarı: Google'ın Gemma lisansıyla geliyor; bu lisans açık ağırlıklı (open-weight) olsa da sağlayıcıya özgü şartlar taşıyor, o yüzden ticari olarak yayınlamadan önce mutlaka okuyun.