Gemma 3 12B çalıştırabilir miyim?

Gemma 3 12B, Google'ın orta boy açık ağırlıklı modeli ve alışılmış 7-8B sohbet modellerinden daha fazla yetenek isteyen ama bir iş istasyonu gerektiren bir şeye atlamak istemeyenler için gerçekten kullanışlı bir noktada duruyor. 4-bit niceleme (quant) ile yaklaşık 7.4 GB tutuyor; bu, RTX 3060 gibi 12 GB'lık bir karta biraz pay bırakarak sığıyor ve 16 GB ve üstü Apple Silicon Mac'lerde birleşik bellekte rahatça çalışıyor. Modeli yüklemenin alt sınırı 12 GB RAM. Ayrıca görselle de çalışıyor, yani metnin yanında ona resim verebilirsiniz — bu boyuttaki çoğu model bunu yapamaz.

Günlük kullanımda tüketici donanımında hızlı hissettiriyor. RTX 3060 12GB üzerinde 4-bit'te saniyede yaklaşık 41 token alıyorsunuz — okuma hızınızdan daha hızlı — ve bir Apple M Max bunu yaklaşık 47 tok/s'ye çıkarıyor. Elinizde bir 4090 varsa şıp diye yaklaşık 116 tok/s'de uçuyor. Püf noktası 128K bağlam penceresi: gerçekten orada, ama doldurmak pahalı. Tam 128K'da model artı KV cache toplamda yaklaşık 27.7 GB istiyor; bu da 12 GB'lık bir kartın tutabileceğinin çok ötesinde, dolayısıyla 24 GB'lık bir GPU'nuz ya da bol birleşik belleğiniz yoksa çalışma bağlamını mütevazı tutun.

Aynı boyuttaki belirgin alternatif Mistral Nemo 12B'ye karşı Gemma 3 12B, talimat takibi ve çok kipli (multimodal) işlerde genelde önde — çünkü Nemo yalnızca metin; yine de saf uzun bağlamlı sohbet için Nemo daha hafif seçim olma eğiliminde. Daha küçük kalmak isterseniz Gemma 3 4B kapladığı yeri düşürürken görsel yeteneğini koruyor. Gemma 3 12B'nin öne çıkan yanı, tek bir orta segment GPU'da hâlâ çalışabilen yetenekli bir görsel-ve-sohbet modeli olması. Bir uyarı: Google'ın Gemma lisansıyla geliyor; bu, açık ağırlıklı olsa da sağlayıcıya özgü şartlar içeriyor, bu yüzden düpedüz açık kaynak varsaymak yerine herhangi bir ticari dağıtımdan önce onları okuyun.