Granite 4.0 H Small çalıştırabilir miyim?

Granite 4.0 H Small, IBM'in mixture-of-experts (MoE) modeli: kâğıt üzerinde 32B parametre, ama token başına yalnızca yaklaşık 9B'si aktif. İşin özü tam da bu ayrımda. Her token ağırlıkların sadece bir kısmına dokunduğu için boyutuna göre hızlı çalışıyor; ancak modelin tamamını yine de bellekte tutman gerekiyor, yani planlamanı aktif parametreye değil 32 GB'lik alt sınıra göre yap. 4-bit niceleme (quant) ile yaklaşık 19.4 GB'ye iniyor; bu da RTX 3060 gibi 12 GB'lik bir kartı tamamen devre dışı bırakıyor ve seni 24 GB'lik bir GPU'ya ya da bol birleşik belleğe sahip bir Apple Silicon Mac'e yönlendiriyor. Sohbet ve kodlama işleri için tasarlanmış, dizüstünde gelişigüzel denemeler için değil.

RTX 4090 üzerinde saniyede yaklaşık 157 token hızında çalışıyor; bu okuma hızının çok ötesinde ve etkileşimli kodlama oturumlarını keyifli hâle getiriyor. M serisi Max'te yaklaşık 64 tok/s görüyorsun, yine rahat bir tempo; saf CPU'da DDR5 ile ise yaklaşık 9 tok/s'ye düşüyor, toplu (batch) işler için kullanılabilir ama canlı sohbet için değil. 128K bağlam gerçek, ancak pahalı: tamamını doldurduğunda toplam bellek yaklaşık 50.7 GB'ye tırmanıyor, dolayısıyla 24 GB'lik bir kartta tavana yakın çalışman fiilen mümkün değil. Yedekte 64 GB'lik bir Mac'in yoksa çalışma bağlamını mütevazı tut.

Benzer toplam boyutta yoğun (dense) bir model olan Qwen 3 32B ile kıyaslandığında, MoE tasarımı sayesinde Granite donanım üzerinde genelde daha hafif hissettiriyor; gerçi her token'da tüm parametrelerini aktive ettiği için Qwen 3, ağır muhakeme işlerinde öne geçme eğiliminde. Daha küçük ve daha basit bir şey istiyorsan, yoğun Granite 3.3 8B mütevazı GPU'lara daha kolay oturuyor. Granite 4.0 H Small'ın öne çıkan özelliği, gerçekten kendin barındırabileceğin (self-host) hızlı bir 32B sınıfı model olması; üstelik Apache 2.0 lisansıyla geliyor, yani lisans derdi olmadan ticari olarak kullanmakta özgürsün.