Gemma 4 12B çalıştırabilir miyim?

Gemma 4 12B, sohbet, kodlama ve akıl yürütme için tasarlanmış, görsel anlama yeteneğine sahip yoğun (dense) 12B'lik bir model; yani tek bir yetenekli yerel asistan isteyip aynı zamanda görsel de okumasını bekleyenlere hitap ediyor. 4-bit niceleme (quant) ile boyutu 7.3 GB civarına iniyor, dolayısıyla RTX 3060 gibi 12 GB'lik bir ekran kartına bağlam için yer kalacak şekilde sığıyor ve Apple Silicon Mac'lerin birleşik belleğinde rahatça çalışıyor. Modelin yüklenmesi için en az 12 GB RAM gerekiyor. Eliniz darsa, 2-bit sürüm yaklaşık 5 GB'a kadar düşüyor; ama bu sıkışmanın bedelini kaliteden ödüyorsunuz.

Günlük kullanımda RTX 3060'ta saniyede yaklaşık 42 tok/s hızında akıyor; bu da çıktıyı eş zamanlı okumaya yetecek kadar hızlı. M serisi Max'te ise yaklaşık 48 tok/s alıyorsunuz. RTX 4090 onu 100'ün üzerine çıkarıyor. 256K bağlam penceresi cömert, ama bunu varsayılan değil, bir tampon alanı gibi düşünün. 128K bağlamda bile model artı KV cache toplamda kabaca 27.4 GB'a tırmanıyor; bu da tek bir 12 GB'lik kartın çok ötesinde, yani ya sistem belleğine taşarsınız ya da ciddi şekilde yavaşlarsınız. Tüketici donanımında çalışma bağlamını birkaç bin token ile sınırlı tutun.

Daha hafif Gemma 3 4B ile karşılaştırıldığında 12B, çok adımlı akıl yürütme ve kodlamada genel olarak daha iyi tutunuyor; ekstra belleğin karşılığında elde ettiğiniz şey bu. Eliniz darsa ya da yalnızca sohbet ve görsel anlama lazımsa tercihiniz Gemma 3 4B olmalı. Buradaki asıl öne çıkan nokta, görsel anlama ile sağlam metin akıl yürütmesinin tek bir modelde gelmesi ve bunun hâlâ orta seviye bir GPU'da çalışabilmesi. Lisans tarafı da temiz: Apache 2.0, modeli ticari olarak ve üretimde sağlayıcıya özgü hiçbir koşula takılmadan kullanabileceğiniz anlamına geliyor.