Mellum 2 12B-A2.5B çalıştırabilir miyim?

Mellum 2, JetBrains'in kodlamaya odaklı modeli; mixture-of-experts mimarisiyle kurulmuş: toplam 12B parametre ama token başına yalnızca yaklaşık 2.5B aktif. Tasarımın bütün mantığı bu. Kabaca 2-3B'lik bir modelin hızını alıyorsunuz, ama tam 12B'yi bellekte tutmaya devam ediyorsunuz; yani aktif sayıya aldanmayın. 4-bit niceleme (quant) ile boyut 7.3 GB civarına oturuyor, pratik alt sınır ise yaklaşık 12 GB RAM. Bu, RTX 3060 gibi 12 GB'lik bir karta ya da Apple Silicon Mac'teki birleşik belleğe sığar, ama 8 GB fazlasıyla yetersiz kalır. JetBrains IDE'lerinde yaşıyorsanız ve yerel kod tamamlama istiyorsanız, tam da size göre.

Günlük kullanımda MoE tasarımı kendini gösteriyor: boyutunun ima ettiğinden çok daha hızlı hissettiriyor. RTX 3060 12GB üzerinde 4-bit ile saniyede yaklaşık 202 token bekleyebilirsiniz; RTX 4090 ise 565'in üstüne çıkıyor; yani tamamlamalar siz bir sonraki satırı yazmayı bitirmeden ekrana geliyor. 128K bağlam, bir kodlama modeli için gerçekten geniş; dosyaların tamamını ya da bir repo dolusu header'ı modele beslemek için elverişli, ama bedava değil. Bağlamı sonuna kadar doldurduğunuzda toplam bellek kabaca 27.4 GB'ye tırmanıyor; bu da tek bir 12 GB'lik kartın tutabileceğinin çok ötesinde. Dolayısıyla 24 GB'lik bir GPU'nuz ya da bol birleşik belleğiniz yoksa çalışma bağlamını mütevazı tutun.

Kapsam konusunda net olmakta fayda var: bu bir kodlama uzmanı, genel amaçlı bir asistan değil. Sohbet, akıl yürütme ya da görsel içeren herhangi bir iş için Gemma 4 12B gibi daha geniş kapsamlı bir 12B genelde sizi daha iyi idare eder; serbest uçlu konuşmada ise Mistral Nemo 12B çoğunlukla daha dostça bir seçim olur. Mellum 2'nin öne çıkan özelliği, tamamlama tarzı işlerde sunduğu o MoE hız-boyut oranı ve editörünüzü yapan ekipten gelen birinci sınıf IDE entegrasyonu. Lisans tarafı ise işin kolay kısmı: Apache 2.0, yani ticari olarak ve üretimde hukuki kaygı duymadan kullanabilirsiniz. Asıl işiniz kodsa ve 12 GB'lik bir kartınız varsa, güçlü ve hızlı bir yerel tercih.