DeepSeek R1 70B çalıştırabilir miyim?

DeepSeek R1 70B, zincirleme akıl yürütmeyi (chain-of-thought) tamamen kendi donanımınızda çalıştırmak istediğinizde başvuracağınız modeldir; hızlı bir sohbet yardımcısı değil. 4-bit niceleme ile yaklaşık 42.8 GB yer kaplar ve en az 64 GB civarında RAM ister; bu da tek bir tüketici GPU'sunu doğrudan eler: RTX 3060 12GB'a sığmaz, hatta RTX 4090 24GB'a bile sığmaz. Gerçekçi adresi, bol unified memory'li bir Mac ya da 64 GB veya üzeri RAM'e sahip bir iş istasyonudur; ancak burada tüm ağırlıklar gerçekten bellekte yerleşik kalabilir. Bu, gelişigüzel indirilecek bir model değil, ciddi bir taahhüttür.

Günlük kullanımda dürüst manşet şu: yavaş. Apple M-Max üzerinde saniyede yaklaşık 8 token alırsınız, DDR5'li bir CPU'da ise bu yaklaşık 1 token/saniyeye düşer; yani yanıtlar en iyi ihtimalle okuma hızında gelir, en kötüsünde sürünür. R1 yanıtlamadan önce sesli düşündüğü için bu token'ların büyük kısmı görünür akıl yürütmeye gider, dolayısıyla tek bir yanıt bir hayli zaman alabilir. 128K bağlam mevcut, ancak onu doldurmak toplam belleği yaklaşık 87.5 GB'a çıkarır; bu da 64 GB tabanının epey üzerinde. O yüzden elinizde fazladan pay yoksa çalışma bağlamını mütevazı tutun.

Kendi ailesine karşı denge basit: DeepSeek R1 7B ya da minik 1.5B çok daha hızlı çalışır ve mütevazı donanıma sığar; ama bu 70B, daha zorlu, çok adımlı akıl yürütmede genellikle daha sağlam durur — küçük distilasyonların ipin ucunu kaçırma eğiliminde olduğu yerlerde. Sohbet için ayarlanmış Llama 3.1 70B ile kıyaslandığında R1 70B'nin öne çıkan özelliği o açık akıl yürütme tarzıdır; serbest sohbetten çok matematik ve mantık problemlerine uygundur. Buradaki MIT lisansı işin kolay kısmı: sağlayıcıya özel hiçbir bağlayıcı koşul olmadan ticari olarak ve üretimde kullanabilirsiniz. Yalnızca belleği ve bekleyişi hesaba katın.