我能跑 DeepSeek-OCR 吗？

DeepSeek-OCR 是个专用模型，不是聊天模型：它读取图片，把文档、截图和扫描页转换成文本。它采用混合专家（MoE）架构，所以虽然完整模型有 3B 参数，但每个 token 实际只激活约 0.57B。这让它跑得很快，但 MoE 的代价是：你的内存仍要装下整个模型，而不只是被激活的那部分。在 4-bit 量化下它约为 1.8 GB，至少需要大约 4 GB 内存，因此能轻松跑在 12 GB 的 RTX 3060、入门级 Apple Silicon Mac，甚至现代 CPU 主机上。

实际用起来，它不像在等聊天机器人回复，更像在跑一个快速的批处理任务。在 RTX 3060 12GB 上大约能达到每秒 886 tokens，M 系列 Max 可以超过 1000，而 4090 则是另一个量级，约 2479 tok/s。即便是纯 CPU 配 DDR5 也能做到约 148 tok/s，偶尔处理几页文档够用了。上下文窗口只有不大的 8K，但对 OCR 任务完全够用，因为你每次只喂一张图片；在满上下文时整体内存占用接近 2.5 GB，所以这里很少会缺余量。

别把它当成通用助手来用。如果你想要推理或分步骤的回答，同门的 DeepSeek R1 7B 通常表现要好得多；而当你想要在一个模型里同时拥有视觉理解和真正的对话能力时，Ministral 3 3B 是更合理的选择。DeepSeek-OCR 的过人之处既专一又实在：它是一个体积小、速度快、几乎能在任何地方运行的「文档转文本」引擎。它采用纯粹的 MIT 许可证发布，因此你可以在生产环境和商业项目中自由使用，不会有许多开放权重模型那种厂商专属的附加限制。