¿Puedo ejecutar GPT-OSS 120B?

GPT-OSS 120B es la gran apuesta de OpenAI en pesos abiertos para quien quiere un modelo de chat y razonamiento de gama alta corriendo por completo en su propio hardware. Es un diseño mixture-of-experts, así que aunque el modelo completo tiene 116.8B de parámetros, solo unos 5.1B están activos por token. Ese es el truco que lo mantiene rápido para su tamaño, pero no te confíes con la memoria: igual tienes que cargarlo entero en RAM. En cuantización de 4 bits son unos 71 GB, y conviene tener alrededor de 96 GB de memoria de sistema para moverlo con holgura. Este no es un modelo para GPU de portátil.

En la práctica, una RTX 3060 o incluso una 4090 simplemente no le dan cabida, así que sus hogares realistas son una máquina Apple Silicon con mucha memoria o un equipo CPU con bastante RAM. En un M-series Max puedes esperar alrededor de 113 tokens por segundo, lo que se siente realmente ágil para un modelo de este tamaño. En CPU con DDR5 bajas a unos 16 tokens por segundo, usable para trabajo por lotes pero lento para chat interactivo. La ventana de contexto de 128K es generosa, pero llenarla empuja la memoria total a unos 127 GB en el contexto máximo, así que planifica con margen en lugar de tratar ese tope como tu tamaño de trabajo habitual.

Frente a sus pares, GPT-OSS 120B se inclina con fuerza hacia el chat y el razonamiento más que hacia el código o la visión, así que algo como Mistral Small 4 119B suele darte más versatilidad si necesitas código o entrada de imágenes con el mismo consumo. Su hermano pequeño, GPT-OSS 20B, es el que conviene cuando 96 GB de RAM quedan fuera de tu alcance. Lo que destaca aquí es la licencia: Apache 2.0 significa que puedes usarlo comercialmente y en producción sin ataduras del proveedor, algo poco común en este nivel de capacidad y una razón de peso para elegirlo.