Posso rodar o OLMo 2 13B?

O OLMo 2 13B é o modelo de chat totalmente aberto da Ai2, e seu apelo tem tanto a ver com procedência quanto com desempenho: os pesos, os dados de treinamento e a receita são todos públicos sob a Apache 2.0, então você pode usá-lo comercialmente sem ficar em dúvida sobre os termos. Em quantização de 4-bit ele fica em torno de 8.3 GB, um pouco demais para uma placa de 12 GB depois de contar o overhead, mas roda tranquilo numa GPU de 16 GB ou na memória unificada de um Mac com Apple Silicon. Se o espaço estiver apertado, a build de 2-bit cai para cerca de 5.7 GB. Conte com uns 12 GB de RAM como piso.

No uso diário, ele se comporta como um parceiro de chat sólido e equilibrado. Numa RTX 3060 12 GB dá para esperar cerca de 37 tokens por segundo em 4-bit, confortavelmente mais rápido do que você lê, e uma 4090 leva isso a uns 103 tok/s. Um chip M-series Max fica perto de 42 tok/s. O ponto que você precisa ter sempre em mente é a janela de contexto de 4K, pequena para os padrões de 2024-2025. Mesmo no limite o modelo precisa de apenas uns 9 GB no total, mas você simplesmente não consegue alimentá-lo com documentos longos ou históricos de conversa extensos sem truncar, então trate-o como um assistente de turnos curtos.

Dentro da sua faixa de tamanho, o OLMo 2 13B é a escolha de dados abertos, não o líder em capacidade bruta. Modelos como o Qwen 3 14B e o Phi-4 14B geralmente o superam em raciocínio e tarefas estruturadas, e ambos trazem janelas de contexto bem maiores, caso entradas longas sejam importantes para você. O Ministral 3 14B adiciona visão, algo que o OLMo não tem. O que o OLMo oferece e nenhum deles oferece é abertura genuína de ponta a ponta: se você se importa em saber exatamente o que entrou no seu modelo, ou faz trabalho de pesquisa e reprodutibilidade, é este que você deve procurar. Apache 2.0 significa nenhuma amarra de uso.