Gemma 4 E2B çalıştırabilir miyim?

Gemma 4 E2B, Google'ın küçük mixture-of-experts modeli ve işin ilginç tarafı matematikte: toplam 5.1B parametre taşıyor ama her token için yalnızca yaklaşık 2.3B parametreyi aktif ediyor. Yani çok daha küçük bir model hızında çalışıyor, ama yine de ağırlıkların tamamı için belleğe ihtiyaç duyuyor. 4-bit quant yaklaşık 3.1 GB'a oturuyor ve ağırlık setinin tamamını tutmak için en az 6 GB RAM istersiniz. Bu, giriş seviyesi 8 GB bir GPU'ya ya da herhangi bir Apple Silicon Mac'e rahatça sığıyor. Üstelik hem sohbet hem de görüntü işliyor, yani sadece metin değil görseller de verebilirsiniz.

Günlük kullanımda aktif-parametre numarası ham hızda kendini gösteriyor. RTX 3060 12GB üzerinde 4-bit'te saniyede yaklaşık 219 token üretiyor, RTX 4090 bunu 600'ün üzerine taşıyor; M-serisi Max ise 250 civarında. Yanıtlar okuyabileceğinizden çok daha hızlı akıyor. Dikkat edilmesi gereken nokta 128K bağlam: onu doldurursanız toplam bellek yaklaşık 16.8 GB'a tırmanıyor, kısa bağlamda yeten 6 GB'ın çok ötesinde. Küçük bir kartta çalışma bağlamını birkaç bin token ile sınırlı tutun, yoksa KV cache modelin kendisinden büyür.

Kendi ailesi içinde, MoE bellek ayak iziyle uğraşmak istemiyorsanız Gemma 3 4B yoğun (dense) alternatif; Qwen 3 4B ise çok adımlı akıl yürütmede genellikle önde, çünkü onun açıkça belirttiği odağı bu. Gemma 4 E2B'nin öne çıkan yanı, bu kadar hafif bir pakette hız-yetenek oranı ile birlikte gelen yerel görüntü desteği; bu boyutta nadir bir kombinasyon. Lisansı Apache 2.0, dolayısıyla Google'ın eski Gemma şartlarının aksine üretimde ticari olarak kullanabilirsiniz, okumanız gereken özel bir lisans yok. ollama run gemma4:e2b ile çekin, hazırsınız.