Nemotron 3 Super 120B-A12B çalıştırabilir miyim?

Nemotron 3 Super 120B-A12B, NVIDIA'nın mixture-of-experts modeli; sınır seviyesinde akıl yürütme ve kod yazımını kendi donanımında çalıştırmak isteyen ve bunu kaldıracak belleğe sahip olanlar için. Toplam 120B parametre taşısa da token başına yalnızca 12B aktif olur, yani boyutunun düşündürdüğünden çok daha hızlı çalışır; ama yine de modelin tamamı için yer ister. İşin püf noktası burada: 4-bit niceleme (quant) ile bile yaklaşık 72.8 GB tutuyor ve yüklemek için en az 96 GB RAM gerekiyor. Bu bir 8 GB GPU modeli değil. 24 GB'lık RTX 4090 onu sığdıramaz, hatta yaklaşık 50 GB'lık 2-bit sürüm bile erişilemez kalır. Gerçekçi yuvası ya geniş birleşik bellekli bir Apple Silicon makinesi ya da bol sistem RAM'i olan bir sunucudur.

Günlük kullanımda MoE tasarımı meyvesini veriyor. Apple M Max üzerinde saniyede yaklaşık 48 token bekleyebilirsin; 120B etiketine rağmen sohbet, çok adımlı akıl yürütme ve kod yardımı için gerçekten interaktif hissettiren bir hız. DDR5 ile CPU'ya verirsen saniyede yaklaşık 7 token'a düşersin; toplu işler için kullanılabilir ama canlı konuşma için değil. Bağlam penceresi 1000K token ile devasa, ama bunu sonuna kadar açık bırakacağın bir ayar değil, bir tavan olarak düşün. 128K'yı doldurmak bile KV cache hesaba katıldığında toplam belleği yaklaşık 129.5 GB'a çıkarır; yani 96 GB'lık bir makinede reklam edilen sınıra varmadan çok önce yerin tükenir. Bol belleğin yoksa çalışma bağlamını mütevazı tut.

En yakın akrabaları arasında Nemotron 3 Super ilginç bir konumda. Qwen 3.5 122B-A10B benzer ölçekte bir MoE ve aynı zamanda görüntüyü de işliyor; bu model işlemiyor, dolayısıyla görsel girdiye ihtiyacın varsa genelde o öne geçer. Mistral Small 4 119B boyut olarak kıyaslanabilir ve o da çok kipli. Donanımın buraya kadar uzanamıyorsa, çok daha küçük olan Nemotron 3 Nano 30B-A3B aynı ailenin hafif alternatifi ve kısıtlı makinelerde genellikle pragmatik tercih oluyor. Super'in göze çarpan özelliği, onu barındırabilenlere 120B sınıfı akıl yürütmeyi 12B sınıfı hızda sunması. Bir uyarı: NVIDIA Open Model lisansı altında geliyor, dolayısıyla sade bir açık kaynak özgürlüğü varsaymak yerine ticari kullanımdan önce bu şartları kontrol et.