Могу ли я запустить DeepSeek-OCR?

DeepSeek-OCR — это узкоспециализированная модель, а не чат-бот: она читает изображения и превращает документы, скриншоты и отсканированные страницы в текст. Архитектура построена на mixture-of-experts, поэтому, хотя полная модель содержит 3B параметров, на каждый токен активируется лишь около 0.57B из них. Это держит её быстрой, но подвох MoE в том, что в память всё равно нужно уместить модель целиком, а не только активную часть. В 4-битном кванте она занимает примерно 1.8 GB и требует минимум около 4 GB RAM, поэтому свободно помещается на 12 GB RTX 3060, на компактном Mac с Apple Silicon или даже на современной машине без видеокарты.

На практике это ощущается не как ожидание ответа чат-бота, а скорее как запуск быстрой пакетной задачи. На RTX 3060 12GB можно рассчитывать примерно на 886 токенов в секунду, M-серии Max выдаёт больше 1000, а 4090 играет в другой лиге — около 2479 tok/s. Даже чистый CPU на DDR5 даёт порядка 148 tok/s, чего хватает для отдельных страниц время от времени. Контекстное окно скромное — 8K, но для OCR этого с лихвой достаточно, ведь вы подаёте по одному изображению за раз; при полном контексте потребление памяти доходит примерно до 2.5 GB, так что запас здесь редко становится проблемой.

Не берите её как универсального помощника. Если нужны рассуждения или пошаговые ответы, родственная DeepSeek R1 7B обычно справится куда лучше, а Ministral 3 3B — более разумный выбор, когда хочется зрение и настоящий диалог в одной модели. Сильная сторона DeepSeek-OCR узкая, но реальная: это крошечный, быстрый движок преобразования документов в текст, который запускается почти где угодно. Она поставляется под обычной лицензией MIT, так что её можно свободно использовать в продакшене и коммерческих проектах без специфичных для провайдера ограничений, которыми обременены многие релизы с открытыми весами.