Mistral 7B çalıştırabilir miyim?

Mistral 7B, küçük bir açık ağırlıklı LLM'in gerçekten işe yarayabileceğini ilk kanıtlayan model oldu ve hafif, yerel bir sohbet asistanı isteyen herkes için hâlâ mantıklı bir tercih. 4-bit niceleme (quant) ile yaklaşık 4.4 GB'a iniyor; yani 8 GB'lık bir GPU'ya rahatça, üstüne yer kalacak şekilde sığıyor, herhangi bir Apple Silicon Mac'in birleşik belleğinde sorunsuz çalışıyor ve eski donanıma sıkıştırıyorsanız kabaca 3 GB'lık 2-bit bir sürüm bile masada. Apache 2.0 lisansı da olabilecek en serbest lisanslardan: ticari kullanım ücretsiz, sağlayıcıya bağlı hiçbir koşul yok.

Günlük kullanımda sohbet ve kısa özetler için hızlı ve istikrarlı. RTX 4090 üzerinde 4-bit'te saniyede yaklaşık 196 token üretiyor; mütevazı bir RTX 3060 12GB bile yaklaşık 70 tok/s civarında kalıyor ki bu okuyabileceğinizden hızlı; M serisi bir Max ise 80 tok/s dolayında. 32K bağlam penceresi rahat ama devasa değil; pencereyi sonuna kadar doldurmak toplam belleği kabaca 8.4 GB'a çıkarıyor, dolayısıyla dar 8 GB'lık bir kartta tüm pencereyi tıka basa doldurmak yerine çalışma bağlamını ölçülü tutmak isteyeceksiniz.

Dürüst uyarı yaşı: 2023 sonunda çıktı ve daha zorlu akıl yürütme ile talimat takibinde yeni küçük modellerin gerisinde kalıyor; belleğiniz varsa Mistral Nemo 12B genelde daha uzun, daha zorlayıcı istemleri daha iyi kotarıyor. Özellikle kodlama için Qwen 2.5 Coder 7B benzer boyutta daha güçlü bir tercih oluyor. Mistral 7B'nin hâlâ kazandığı yer ise sadelik ve erişim: minik, Apache 2.0 altında tamamen açık ve sade 'mistral' Ollama etiketinin arkasında yılların araç ekosistemi var; bu da onu güvenilir, sürprizsiz bir başlangıç noktası yapıyor.