DeepSeek-OCRは動く？

DeepSeek-OCR はチャットモデルではなく、画像を読み取って文書・スクリーンショット・スキャンしたページをテキストに変換する専門特化モデルです。mixture-of-experts 構成のため、モデル全体は 3B パラメータでも、各トークンで実際に動くのはそのうち約 0.57B だけです。これで動作は軽快に保たれますが、MoE の落とし穴は、アクティブな一部だけでなくモデル全体をメモリに載せる必要がある点です。4-bit 量子化(quant)ではサイズが約 1.8 GB に収まり、RAM は最低でも 4 GB ほどを要求するので、12 GB の RTX 3060 はもちろん、小型の Apple Silicon Mac や最近の CPU マシンにも余裕で収まります。

実際の使い心地は、チャットボットの応答を待つというより、高速なバッチ処理を回す感覚に近いです。RTX 3060 12GB ではおおむね 886 tok/s 前後が見込め、M シリーズの Max なら 1000 を超え、4090 は約 2479 tok/s と別格です。DDR5 上の純粋な CPU でも約 148 tok/s 出るので、たまにページを処理する用途なら十分実用的です。コンテキストウィンドウは控えめな 8K ですが、OCR では画像を一枚ずつ与えるため十分すぎるほどで、フルコンテキストでもメモリ使用量は最大 2.5 GB 程度に収まり、ここで余裕が問題になることはまずありません。

これを汎用アシスタントとして使おうとは考えないでください。推論や段階的な回答が欲しいなら、姉妹モデルの DeepSeek R1 7B のほうがたいてい遥かに頼りになりますし、画像処理と本格的な会話を一つのモデルで両立させたいなら Ministral 3 3B のほうが理にかなった選択です。DeepSeek-OCR の強みは狭くも確かで、ほぼどこでも動く小型・高速の文書テキスト化エンジンだという点に尽きます。シンプルな MIT ライセンスで提供されるため、多くのオープンウェイト版に付きまとうプロバイダー固有の制約なしに、本番環境や商用利用でも自由に使えます。