Posso rodar o DeepSeek-OCR?

O DeepSeek-OCR é um modelo especialista, não um modelo de conversa: ele lê imagens e transforma documentos, capturas de tela e páginas escaneadas em texto. É um projeto mixture-of-experts (MoE), então, embora o modelo completo tenha 3B de parâmetros, apenas cerca de 0,57B deles são ativados para cada token. Isso o mantém rápido, mas a pegadinha do MoE é que você ainda precisa de espaço para o modelo inteiro na memória, não só para a fatia ativa. Em quantização de 4 bits ele fica em torno de 1,8 GB e pede uns 4 GB de RAM no mínimo, então roda tranquilo numa RTX 3060 de 12 GB, num Mac Apple Silicon modesto ou até numa máquina com CPU moderna.

Na prática, a sensação é menos de esperar um chatbot e mais de rodar um job em lote rápido. Numa RTX 3060 12GB você pode esperar algo perto de 886 tokens por segundo, um M-series Max passa de 1000, e uma 4090 está em outro nível, com cerca de 2479 tok/s. Mesmo só na CPU com DDR5 dá para chegar a uns 148 tok/s, o que é utilizável para páginas ocasionais. A janela de contexto é modesta, de 8K, mais que suficiente para trabalho de OCR, já que você alimenta uma imagem por vez; no contexto cheio o consumo total chega perto de 2,5 GB de memória, então folga de memória raramente é o problema aqui.

Não recorra a ele como assistente geral. Se você quer raciocínio ou respostas passo a passo, um irmão como o DeepSeek R1 7B geralmente serve muito melhor, e o Ministral 3 3B é a escolha mais sensata quando você quer visão e conversa de verdade num só modelo. O ponto forte do DeepSeek-OCR é estreito e real: é um motor de documento-para-texto minúsculo, rápido e que roda em quase qualquer lugar. Ele vem sob uma licença MIT pura, então você pode usá-lo livremente em produção e em trabalho comercial, sem as amarras específicas de provedor que acompanham muitos lançamentos de pesos abertos.