Gemma 3n E4B çalıştırabilir miyim?

Gemma 3n E4B, Google'ın sohbet ve görüntü işleme için geliştirdiği küçük çok kipli (multimodal) modeli; doğrudan yetenekli bir yerel asistan isteyen, üstelik görselleri de yorumlayabilen kişileri hedefliyor. Kağıt üzerinde 7.8B parametre taşıyor ama mixture-of-experts (uzman karışımı) bir tasarım: token başına yalnızca yaklaşık 4B parametre devreye giriyor, bu yüzden tam boyutunun düşündürdüğünden gözle görülür biçimde hızlı çalışıyor. 4-bit'te yaklaşık 4.7 GB'a iniyor; bu da RTX 3060 gibi 8 GB'lık bir GPU'ya rahatça sığıyor ve yeni nesil herhangi bir Apple Silicon Mac'in birleşik belleğine sorunsuz oturuyor. MoE'nin püf noktası şu: ne kadar az uzman ateşlenirse ateşlensin, modelin tamamını bellekte tutman gerekiyor, dolayısıyla en az 8 GB RAM planla.

Günlük kullanımda hızlı hissettiriyor. RTX 3060 12GB üzerinde 4-bit'te saniyede yaklaşık 126 token bekleyebilirsin, bir 4090 bunu kabaca 353'e çıkarıyor; ikisi de okuma hızının çok ötesinde. M serisi bir Max yaklaşık 144 civarında, DDR5 üzerinde saf CPU bile yaklaşık 21 token/s yönetiyor; acelen yoksa kullanılabilir. Görüntü tarafı ise bu boyuttaki yalnızca metin işleyen bir modele tercih etmenin asıl sebebi. Bağlam (context) en fazla 32K'da tavan yapıyor; sohbet ve doküman soru-cevabı için rahat, ama uzun bağlamlı bir iş atı değil. O pencereyi doldurduğunda toplam bellek kabaca 8.8 GB'a tırmanıyor, bu yüzden 8 GB'lık bir kartta çalışma bağlamını ölçülü tut.

Sınıfındaki bariz yalnızca metin işleyen alternatif olan Llama 3.1 8B karşısında Gemma 3n E4B, genel olarak biraz ham akıl yürütme derinliğinden feragat edip karşılığında Llama'nın bu bellek ayak izinde sunamayacağı iki şey kazanıyor: yerel (native) görüntü anlama ve MoE hız avantajı. Yalnızca metin gerekiyorsa Gemma 3 4B daha hafif kardeşi, Llama 3.1 8B ise saf sohbet için daha güvenli seçim. Gemma 3n E4B'nin öne çıkan yanı, hâlâ 8 GB'a sığarken gerçekten kullanılabilir bir görüntü-ve-sohbet modeli olması. Lisans konusunda bir not: Gemma lisansı açık kaynak değil, açık ağırlıklı (open-weight); Google'ın kendi kullanım şartlarıyla geliyor, bu yüzden ürünleştirmeden önce bunları oku — ticari kullanıma izin verilse de.