Magistral Small 1.2 çalıştırabilir miyim?

Magistral Small 1.2, Mistral'in 24B parametreli akıl yürütme modeli; sadece sohbet etmek yerine çok adımlı problemleri gerçekten düşünerek çözen yerel bir asistan isteyenlere hitap ediyor. Görüntü işleme ve genel sohbeti de yapıyor, ama ona uzanmanın asıl sebebi akıl yürütme. İlk planlamanız gereken şey bellek ayak izi: 4-bit quant ile yaklaşık 14.6 GB'a iniyor ve rahat çalıştırmak için kabaca 24 GB belleğe ihtiyacınız var. Bu da RTX 3060 gibi 12 GB'lık bir kartı devre dışı bırakıyor; oraya hiç sığmıyor. Sizi 24 GB'lık bir GPU'ya ya da yüksek bellekli bir Apple Silicon Mac'e yönlendiriyor.

RTX 4090 üzerinde saniyede yaklaşık 59 token hızında akıyor; bu, adım adım akıl yürütmesinin asla bekleme gibi hissettirmeyeceği kadar hızlı. M serisi Max'te saniyede 24 token'a daha yakınsınız, interaktif iş için hâlâ gayet kullanışlı; DDR5 üzerinde yalnızca CPU ile ise saniyede yaklaşık 4 token'a düşüyor, toplu işler için uygun ama canlı sohbet için değil. 128K bağlam gerçek, ama belleğe aç: doldurun, toplam kullanım kabaca 42.1 GB'a tırmanıyor; bu da tek bir 24 GB'lık kartın taşıyabileceğinin hayli ötesinde. Bol bellek yedeğiniz yoksa çalışma bağlamını mütevazı tutun.

Kardeşleriyle kıyaslarsak, ağırlıklı olarak sohbet istiyor ve belleği esirgeyemiyorsanız Mistral Nemo 12B daha hafif ve hızlı tercih; Gemma 4 26B A4B ise benzer boyutta akıl yürütme, kodlama ve görüntü işlemede genelde daha doğrudan rakip. Magistral'in öne çıkan özelliği, tamamen sahibi olabileceğiniz bir modelde bu akıl yürütme odağı: Apache 2.0 lisansı, sağlayıcıya bağlı hiçbir koşul olmadan ticari olarak ve üretimde kullanabileceğiniz anlamına geliyor ki bu, yetenekli bir 24B akıl yürütücü için nadir bir şey. Onu beslemeye 24 GB'ınız varsa, mevcut yerel düşünme modellerinin en ciddilerinden biri.