DeepSeek R1 32B çalıştırabilir miyim?

DeepSeek R1 32B, hızlı sohbetten çok zincirleme akıl yürütmeyi yerel olarak çalıştırmak isteyenler için tasarlanmış bir reasoning modeli. 32.8B parametresiyle gelişigüzel indirilecek bir model değil: 4-bit niceleme yaklaşık 19.9 GB tutuyor ve rahatça çalıştırmak için en az 32 GB RAM istiyorsunuz. RTX 3060 gibi 12 GB'lık bir kartı aşar, dolayısıyla gerçekçi olmak gerekirse 24 GB'lık bir GPU, yüksek bellekli bir Apple Silicon Mac ya da bol sistem belleği olan bir iş istasyonu lazım. Bu donanıma sahipseniz, kendi sunucunuzda barındırabileceğiniz en iyi açık ağırlıklı reasoning modellerinden biri.

Günlük kullanımda cevap vermeden önce sesli düşünüyor; olayın özü bu ama bedeli de bu: her yanıt akıl yürütmeye token harcadığından ham hız önem kazanıyor. RTX 4090 üzerinde 4-bit'te kabaca 43 tok/s bekleyebilirsiniz; görünen akıl yürütme akışını okunabilir tutacak kadar hızlı. Apple M Max'te bu yaklaşık 18 tok/s'ye düşüyor, DDR5'li bir CPU üzerinde ise yaklaşık 3 tok/s ile sürünüyor; toplu işler için iş görür ama etkileşimli kullanım için değil. 128K bağlam cömert, ancak burada onu doldurmak pahalı: tam pencerede toplam bellek yaklaşık 51.6 GB'a tırmanıyor, yani ya güçlü bir makine planlayın ya da bağlamı ölçülü tutun.

Aynı boyutta olan ve yine reasoning yapabilen Qwen 3 32B ile kıyaslandığında, DeepSeek R1 32B açık adım adım muhakemeye daha çok yükleniyor; Qwen 3 32B ise sohbet ve akıl yürütmenin karıştığı işlerde genellikle daha dengeli hissettiriyor. R1 32B'nin öne çıkan özelliği o görünür akıl yürütme izi: matematik, mantık ve modelin nasıl çalıştığını görüp denetlemek istediğiniz çok adımlı problemlerde bu boyutta onu geçmek zor. MIT lisansıyla geliyor, yani bazı açık ağırlıklı ailelerin getirdiği sağlayıcıya özgü şartlar olmadan ticari olarak ve üretimde kullanabilirsiniz.