DeepSeek-OCR çalıştırabilir miyim?

DeepSeek-OCR bir sohbet modeli değil, uzman bir model: görüntüleri okuyor; belgeleri, ekran görüntülerini ve taranmış sayfaları metne çeviriyor. Bir mixture-of-experts tasarımı, yani modelin tamamı 3B parametre olsa da herhangi bir token için bunların yalnızca 0,57B kadarı devreye giriyor. Bu, modeli hızlı tutuyor; ancak MoE'nin püf noktası şu: aktif dilime değil, modelin tamamına bellekte yer açmanız gerekiyor. 4-bit niceleme (quant) ile boyut yaklaşık 1.8 GB'a iniyor ve en az 4 GB civarı RAM istiyor, dolayısıyla 12 GB'lık bir RTX 3060'a, küçük bir Apple Silicon Mac'e, hatta modern bir CPU makinesine rahatça sığıyor.

Pratikte bunu bir chatbot'u bekler gibi değil, daha çok hızlı bir batch işi çalıştırır gibi hissediyorsunuz. RTX 3060 12GB üzerinde saniyede 886 token civarı bir hız bekleyebilirsiniz; bir M-serisi Max 1000'i aşıyor, bir 4090 ise yaklaşık 2479 tok/s ile bambaşka bir ligde. DDR5 üzerinde saf CPU bile yaklaşık 148 tok/s tutturuyor ki ara sıra sayfa işlemek için yeterli. Bağlam penceresi 8K ile mütevazı, ama OCR işi için fazlasıyla yeterli çünkü modele tek seferde bir görüntü veriyorsunuz; tam bağlamda her şey 2.5 GB belleğe varıyor, dolayısıyla burada manevra alanı nadiren sorun oluyor.

Bunu genel amaçlı bir asistan olarak düşünmeyin. Akıl yürütme ya da adım adım yanıtlar istiyorsanız, kardeş model DeepSeek R1 7B genellikle sizi çok daha iyi idare eder; tek modelde hem görüntü hem gerçek bir sohbet istiyorsanız da Ministral 3 3B daha mantıklı bir tercih. DeepSeek-OCR'ın öne çıkan özelliği dar ama gerçek: neredeyse her yerde çalışan, küçük ve hızlı bir belge-metin motoru. Sade bir MIT lisansıyla geliyor, yani çoğu açık ağırlıklı sürüme iliştirilen sağlayıcıya özgü kısıtlar olmadan onu üretimde ve ticari işlerde özgürce kullanabilirsiniz.