Nemotron 3 Nano 30B-A3B çalıştırabilir miyim?

Nemotron 3 Nano, NVIDIA'nın mixture-of-experts (MoE) modeli; yoğun (dense) model maliyetlerini ödemeden yerel makinede güçlü sohbet, akıl yürütme ve kodlama isteyenler için tasarlanmış. Hilesi adında gizli: toplam 31.6B parametre taşıyor ama her token için bunların yalnızca 3.6B kadarını çalıştırıyor, yani çok küçük bir modelin hızında üretirken çok daha büyük bir modelin aklıyla düşünüyor. Her MoE'ye yeni başlayanın zor yoldan öğrendiği detay şu: yine de modelin tamamını belleğe yüklemeniz gerekiyor. 4-bit niceleme (quant) ile bu kabaca 19 GB ağırlık demek ve en az 32 GB RAM istersiniz; bu da RTX 3060 gibi 12 GB'lık bir kartı tamamen devre dışı bırakıyor.

Günlük kullanımda aktif parametre hilesi kendini gerçekten gösteriyor. RTX 4090 üzerinde saniyede yaklaşık 393 token akıtıyor ki bu kadar yetenekli bir model için bu absürt derecede hızlı; Apple Silicon M Max bile unified memory üzerinde 160 tok/s civarında oturuyor. DDR5 ile yalnızca CPU'da bu rakam yaklaşık 23 tok/s'ye düşüyor; toplu işler için kullanışlı ama interaktif sohbet için değil. Öne çıkan özellik 1,000K bağlam penceresi, ama bunu bir reklam panosu rakamı olarak görün: yalnızca 128K bağlamda toplam bellek ayak izi yaklaşık 50 GB'a tırmanıyor, yani 32 GB'lık bir makinede gerçekçi olarak bir milyon değil, birkaç on bin token ile çalışıyorsunuz.

Rakipleriyle kıyaslandığında, görüntü (vision) gerekiyorsa Gemma 4 31B daha esnek bir tercih çünkü Nemotron 3 Nano yalnızca metin destekliyor; MoE'nin bellek tuhaflıklarıyla uğraşmak istemezseniz Granite 4.0 H Small benzer boyutta yoğun (dense) bir alternatif. Nemotron'un en iyi yaptığı şey kalite başına verim: bu boyut sınıfında çok adımlı akıl yürütmeyi hâlâ kaldırırken bu kadar hızlı üreten başka bir model yok. Üzerine bir şey inşa etmeden önce bir uyarı: NVIDIA Open Model lisansı açık ağırlıklı (open-weight), gerçek anlamda açık kaynak değil; bu yüzden ticari kullanım için Apache tarzı bir özgürlük varsaymak yerine şartları dikkatlice okuyun.