Ministral 3 3B çalıştırabilir miyim?

Ministral 3 3B, Mistral'in "gerçek bir asistan gibi hissettiren en küçük model hangisi?" sorusuna verdiği yanıt. 3B parametreyle, zaten elinizde olan donanımda sohbet ve hafif görsel (vision) işleri için tasarlanmış. 4-bit niceleme (quant) yaklaşık 1.8 GB'a oturuyor; gerçekten sıkışıksanız q2 sürümünü 1.3 GB'a kadar küçültebilirsiniz. 4 GB'lık minimum RAM ayak iziyle giriş seviyesi bir dizüstünde, eski 4 GB'lık bir GPU'da ya da herhangi bir Apple Silicon Mac'te belleği düşünmeden çalışır. Daha büyük bir model sığmadığında uzandığınız model tam olarak budur.

Günlük kullanımda asıl başlık hız. Bir RTX 3060'ta saniyede yaklaşık 168 token görürsünüz, M serisi bir Max civarında ~192 tok/s'ye ulaşır, bir 4090 ise yaklaşık 471 tok/s'ye çıkar; hepsi okuyabileceğinizden çok daha hızlı, dolayısıyla yanıtlar anında gelmiş gibi hissettirir. DDR5 üzerinde yalnızca CPU ile bile ~28 tok/s elde edersiniz, toplu (batch) işler için kullanışlı. Bağlam penceresi cömert bir şekilde 256K, ama bunu bir tavan olarak görün. Onu doldurmak hızla pahalılaşır: 128K bağlamda toplam bellek yükü yaklaşık 12.6 GB'a tırmanır; bu modelin kendi ayak izinin çok ötesinde, o yüzden küçük makinelerde çalışma bağlamını ölçülü tutun.

Dürüst olmak gerekirse, 3B'de bu hız ve minik ayak izi için biraz derinlikten ödün veriyorsunuz. Mistral 7B, daha zorlu akıl yürütmede ve uzun talimat zincirlerinde genellikle daha iyi tutunur; bellek ayırabilecek durumdaysanız Mistral Nemo 12B yeniden öne geçer. Ministral 3 3B'nin kazandığı yer ise ham çıktı hızıyla birlikte görseli (vision) de işleyebilmesi; daha büyük, yalnızca sohbete yönelik Mistral modelleri bunu yapamaz. Apache 2.0 lisansıyla geliyor, dolayısıyla onu hiçbir koşula bağlı kalmadan ticari olarak kullanabilirsiniz. Hızlı, ücretsiz ve her işi gören küçük bir model arıyorsanız, yerini hak ediyor.