¿Puedo ejecutar GPT-OSS 20B?

GPT-OSS 20B es el modelo de razonamiento de pesos abiertos de OpenAI, y lo primero que conviene entender es que se trata de un mixture-of-experts: de sus 20.9B de parámetros totales, solo se activan 3.6B por token. Eso hace que corra mucho más rápido que un modelo denso de 20B, pero aun así tienes que mantener todo el modelo en memoria. Con una cuantización de 4 bits ronda los 12.7 GB, y el piso práctico es de unos 24 GB de RAM. No entra en una tarjeta de 12 GB como una RTX 3060, así que en la práctica necesitas una GPU de 24 GB como una 4090, o un Mac con Apple Silicon y bastante memoria unificada.

En el uso diario se siente ágil para su tamaño, que es justo la ventaja del MoE. En una RTX 4090 puedes esperar alrededor de 393 tokens por segundo, y en un chip M-series Max unos 160 tok/s, ambos muy por encima de la velocidad de lectura. Solo con CPU sobre DDR5 baja a unos 23 tok/s, útil para trabajos por lotes pero no para chat interactivo. La ventana de contexto de 128K es generosa, pero es la parte que consume memoria sin que te des cuenta: si la llenas por completo, el uso total sube a unos 38.5 GB una vez cargada la caché KV. Mantén el contexto de trabajo moderado a menos que te sobre margen, o baja a la versión q2 cercana a los 8.8 GB.

Está pensado para chat y razonamiento más que para programar, así que para tareas de código algo como Codestral 22B suele servirte mejor, y Mistral Small 3.1 24B es la elección si además quieres visión. Su rasgo más destacado es la calidad de razonamiento con un costo de solo 3.6B de parámetros activos, y si quieres más margen, su hermano mayor GPT-OSS 120B escala la misma receta. La licencia es Apache 2.0, así que es realmente libre de usar, incluso de forma comercial y en producción, sin condiciones específicas del proveedor.