Posso rodar o GPT-OSS 120B?

O GPT-OSS 120B é o grande lançamento de pesos abertos da OpenAI para quem quer rodar um modelo de chat e raciocínio de nível de fronteira inteiramente no próprio hardware. É um design mixture-of-experts, então, embora o modelo completo tenha 116.8B de parâmetros, só cerca de 5.1B ficam ativos por token. Esse é o truque que o mantém rápido para o tamanho que tem, mas não se engane quanto à memória: você ainda precisa manter tudo na RAM. Em um quant de 4 bits, isso dá uns 71 GB, e você vai querer por volta de 96 GB de memória de sistema para rodá-lo com folga. Este não é um modelo para GPU de notebook.

Na prática, isso significa que uma RTX 3060 ou até uma 4090 simplesmente não dão conta dele, então os lares realistas são uma máquina Apple Silicon com bastante memória ou um servidor de CPU com muita RAM. Em um M-series Max, dá para esperar cerca de 113 tokens por segundo, o que parece de fato ágil para um modelo deste porte. Na CPU com DDR5, você cai para uns 16 tokens por segundo, utilizável para trabalho em lote, mas lento para chat interativo. A janela de contexto de 128K é generosa, mas preenchê-la empurra a memória total para uns 127 GB no contexto máximo, então planeje com folga em vez de tratar esse teto como seu tamanho de trabalho normal.

Frente aos concorrentes, o GPT-OSS 120B pende bastante para chat e raciocínio, em vez de programação ou visão, então algo como o Mistral Small 4 119B geralmente oferece mais alcance se você precisar de código ou entrada de imagem no mesmo espaço. Seu irmãozinho, o GPT-OSS 20B, é o que vale a pena buscar quando 96 GB de RAM estão fora de cogitação. O destaque aqui é a licença: Apache 2.0 significa que você pode usá-lo comercialmente e em produção sem nenhuma amarra do provedor, algo raro nesse nível de capacidade e um motivo de verdade para escolhê-lo.