Llama 4 Scout çalıştırabilir miyim?

Llama 4 Scout, Meta'nın mixture-of-experts (uzman karışımı) modeli ve anlaşılması gereken en kritik nokta iki boyutu arasındaki fark. Toplam 109B parametresi var ama token başına bunların yalnızca 17B'sini yönlendiriyor; yani 17B'lik bir model hızında üretim yapıyor, buna karşılık tam 109B'lik modelin belleğini talep ediyor. 4-bit quant ile diskte yaklaşık 66 GB tutuyor ve yüklemek için en az 96 GB RAM veya unified memory gerekiyor. Bu 24 GB'lık bir tüketici GPU'su modeli değil: ne RTX 3060 ne de RTX 4090 bu modeli sığdırabiliyor. Gerçekçi olmak gerekirse bu, bir iş istasyonu ya da sonuna kadar donatılmış bir Apple Silicon makine işi.

Yeterli unified memory'ye sahip bir Apple M Max üzerinde 4-bit ile saniyede yaklaşık 34 token üretiyor; bu, okuma hızınızdan rahatça daha hızlı ve etkileşimli sohbet ile vision (görsel) görevleri için fazlasıyla yeterli. DDR5 ile CPU üzerinde ise saniyede kabaca 5 token'a düşüyorsunuz; toplu işler için kullanılabilir ama karşılıklı yazışma için sinir bozucu. Reklam edilen context devasa, ancak dikkatli olun: 128K token'a doğru zorlamak toplam belleği yaklaşık 120 GB'a çıkarıyor, yani uzun context bedava bir ayar değil, bir donanım-bütçesi kararı. Bol bol yeriniz yoksa çalışma context'ini ölçülü tutun.

Bu sınıftaki diğer büyük model olan GPT-OSS 120B ile kıyaslandığında, vision desteklediği için multimodal tercih Scout oluyor; GPT-OSS ise saf akıl yürütmede genelde önde. Llama 3.2 3B gibi küçük kardeşleriyle kıyaslandığında Scout tamamen farklı bir taahhüt: onlar telefon sınıfı bir iz alanında çalışırken bu bir sunucu istiyor. Öne çıkan özelliği, bu ölçekte gerçekten hızlı ve görsel işleyebilen bir model olması. Bir uyarı: Llama Community lisansı altında geliyor; bu lisans open-source değil open-weight (açık ağırlık) niteliğinde, dolayısıyla üzerine ticari bir şey inşa etmeden önce şartları kontrol edin.