Mistral Small 4 119B çalıştırabilir miyim?

Mistral Small 4 119B bu ailenin tuhaf üyesi: adında "small" geçiyor ama toplamda 119B parametre taşıyan bir mixture-of-experts ve her token için yalnızca 6.5B'lik kısmı aktif ediyor. Hıza göre boyutunun üzerinde performans vermesinin sebebi tam da bu tasarım, ama bellekte modelin tamamının bedelini yine de ödüyorsunuz. 4-bit'te yaklaşık 72 GB'a oturuyor ve onu bellekte tutmak için kabaca 96 GB RAM gerekiyor. Hiçbir tüketici GPU'su bu modeli almıyor: 12 GB'lık RTX 3060 de, hatta 24 GB'lık RTX 4090 da yetersiz kalıyor. Bu bir iş istasyonu ya da büyük unified-memory makine modeli, dizüstü tercihi değil.

Günlük kullanımda MoE numarası asıl önemli olan yerde işe yarıyor. Yüksek bellekli bir Apple M Max üzerinde saniyede yaklaşık 88 token üretiyor; bu kadar büyük bir model için sohbet temposunda hissettiren bir hız bu. Sabırlıysanız DDR5 ile CPU'da bile saniyede yaklaşık 13 token alıyorsunuz. 256K bağlam kâğıt üzerinde cömert görünüyor ama belleğe dikkat: 128K bağlamda toplam ayak izi yaklaşık 128.6 GB'a tırmanıyor, yani uzun pencere ancak onu kaldıracak RAM'iniz varsa gerçek oluyor. Tam bağlamı ücretsiz bir ayar değil, bir donanım bütçesi sorusu olarak ele alın.

Kendi soyu içinde, 96 GB'ı besleyemiyorsanız Mistral 7B ve Nemo 12B sadece-sohbet odaklı hafif seçenekler; bu model ise genellikle akıl yürütme, kodlama ve görüde öne çıkıyor — ki o ikisi bunları hiç yapmıyor. Buradaki en yakın rakibi, aynı ağırlık sınıfındaki bir başka büyük MoE olan Nemotron 3 Super 120B-A12B; ikisi de net bir lider çıkarmak yerine karşılıklı puan alıp veriyor. Asıl öne çıkan nokta şu: gerçek bir Apache 2.0 lisansı altında dört görevli bir model (chat, reasoning, coding, vision) elde ediyorsunuz, yani ticari ve üretim kullanımı hiçbir sağlayıcı şartına takılmadan tamamen serbest.