Gemma 4 E4B çalıştırabilir miyim?

Gemma 4 E4B, Google'ın küçük mixture-of-experts modeli; görselleri de okuyabilen yerel bir asistan istiyorsanız iyi bir tercih. MoE'nin püf noktası şu: token başına 8B parametrenin yalnızca yaklaşık 4.5B'si çalışır, yani çok daha küçük bir modelin hızında koşar ama yine de tamamını belleğe sığdırmanız gerekir. 4-bit'te yaklaşık 4.9 GB'a oturur; bu da RTX 3060 gibi 12 GB'lık bir kartta bol bol yer kalacak şekilde sığar ve 8 GB'lık bir Apple Silicon Mac'in unified memory'sine de rahat girer. Aktif dilime değil, modelin tamamına göre yer planlayın.

Günlük kullanımda hızlı hissettiriyor. Bir RTX 3060'ta 4-bit'te saniyede yaklaşık 112 token bekleyebilirsiniz; RTX 4090 gibi üst seviye bir kart ise bunu okuyabileceğinizden çok daha hızlı, 300'ün üzerine taşıyor. Apple Silicon tarafında bir M-Max ~128 tok/s civarında oturuyor, DDR5 üzerinde salt CPU bile sabırlıysanız kabaca 19 tok/s veriyor. 128K bağlam penceresi gerçek ama pahalı: tamamını doldurursanız toplam bellek yaklaşık 21.7 GB'a tırmanır, ki bu yalnızca ağırlıkların ima ettiğinin çok ötesi. Küçük donanımda çalışma bağlamını birkaç bin token'da tutun, rahat edersiniz.

Ailenin daha hafif kardeşi Gemma 3 4B ile karşılaştırıldığında E4B, benzer şekilde küçük bir aktif ayak izini korurken genelde daha güçlü çıktı veriyor; ikisi de görsel işliyor, dolayısıyla gerçekten bellek sıkıntısı çekmediğiniz sürece daha iyi varsayılan seçim. Öne çıkan özelliği o MoE hız-kalite dengesi: küçük model gecikmesiyle sohbet ve görüntü anlama. Lisans ise işin kolay kısmı. Apache 2.0, sağlayıcıya özgü hiçbir bağlayıcı koşul olmadan, ticari kullanım ve üretim dahil özgürce kullanabileceğiniz anlamına geliyor. Bu da onu, üzerine gerçekten bir şey çıkarabileceğiniz en sade yerel modellerden biri yapıyor.