¿Puedo ejecutar OLMo 2 13B?

OLMo 2 13B es el modelo de chat totalmente abierto de Ai2, y su atractivo tiene tanto que ver con la procedencia como con el rendimiento: los pesos, los datos de entrenamiento y la receta son todos públicos bajo Apache 2.0, así que puedes usarlo comercialmente sin darle vueltas a las condiciones. En cuantización de 4 bits ronda los 8.3 GB, algo justo para una tarjeta de 12 GB una vez que cuentas el overhead, pero entra sin problema en una GPU de 16 GB o en la memoria unificada de un Mac con Apple Silicon. Si vas apretado, la versión de 2 bits baja a unos 5.7 GB. Cuenta con unos 12 GB de RAM como mínimo.

En el día a día se siente como un compañero de chat sólido y de carácter equilibrado. En una RTX 3060 12 GB puedes esperar alrededor de 37 tok/s en 4 bits, cómodamente más rápido de lo que lees, y una 4090 lo lleva hasta unos 103 tok/s. Un M-series Max se queda cerca de 42 tok/s. Lo único que conviene tener presente es la ventana de contexto de 4K, pequeña para los estándares de 2024-2025. Incluso al máximo el modelo solo necesita unos 9 GB en total, pero sencillamente no puedes pasarle documentos largos ni historiales de chat extensos sin truncar, así que trátalo como un asistente de turnos cortos.

Dentro de su categoría de tamaño, OLMo 2 13B es la opción de datos abiertos, no el líder en capacidad pura. Modelos como Qwen 3 14B y Phi-4 14B suelen superarlo en razonamiento y tareas estructuradas, y ambos traen ventanas de contexto mucho más grandes si los textos largos te importan. Ministral 3 14B añade visión, algo que OLMo no tiene. Lo que ofrece OLMo y ninguno de ellos da es una apertura genuina de extremo a extremo: si te importa saber exactamente qué entró en tu modelo, o trabajas en investigación y reproducibilidad, este es el que hay que elegir. Apache 2.0 significa que no hay condiciones de uso atadas.