Gemma 4 26B A4B çalıştırabilir miyim?

Gemma 4 26B A4B, Google'ın mixture-of-experts (MoE) modeli ve işin püf noktası tam da isimde gizli: toplam 25.2B parametre taşıyor ama token başına bunların yalnızca 3.8B'sini yönlendiriyor. Yani küçük bir model hızında üretim yapıyor, fakat belleğe modelin tamamını sığdırmanız gerekiyor. 4-bit quant ile yaklaşık 15.3 GB'a oturuyor ve rahatça yüklemek için en az 24 GB RAM istiyorsunuz. Bu da RTX 3060 gibi 12 GB'lık bir kartı tamamen eliyor; o karta basitçe sığmıyor. Sizi ya 24 GB'lık bir GPU'ya ya da bol unified memory'li bir Apple Silicon makineye yönlendiriyor.

Günlük kullanımda MoE tasarımı kendini gösteriyor. RTX 4090 üzerinde saniyede yaklaşık 372 token üretiyor; bu, okuma hızınızdan çok daha hızlı akış demek. M serisi bir Max çipi de hâlâ 151 tok/s civarında bir değer veriyor. DDR5 ile yalnızca CPU'da hız ~22 tok/s'ye düşüyor; toplu işler için iş görür ama interaktif sohbet için değil. Bağlam penceresi 256K gibi cömert bir değer, ancak bunu bir tavan olarak görün: 128K bağlamda toplam bellek ayak izi yaklaşık 43.4 GB'a tırmanıyor. Dolayısıyla 24 GB'lık bir kurulumda, 10.6 GB'lık q2 sürümüne düşmediğiniz sürece çalışma bağlamını ölçülü tutarsınız.

Benzer boyutta yoğun (dense) bir vision modeli olan Mistral Small 3.1 24B ile karşılaştırıldığında, Gemma 4 seyrek yönlendirme sayesinde token başına genelde daha çevik hissettiriyor; gerçi o sınıftaki dense modeller en zorlu tek geçişli akıl yürütmede öne geçebiliyor. Öne çıkan özelliği, bu hız-yetenek oranı ve tek pakette gerçek anlamda vision ile coding desteği sunması. Lisansı Apache 2.0, yani sağlayıcıya özgü kısıtlamalar olmadan ticari olarak ve üretimde kullanabilirsiniz; bu boyutta nadir görülen ve modelin lehine sağlam bir artı. ollama ile gemma4:26b olarak çekebilirsiniz.