Posso rodar o GPT-OSS 20B?

O GPT-OSS 20B é o modelo de raciocínio open-weight da OpenAI, e o ponto-chave para entender é que ele é um mixture-of-experts: dos seus 20.9B de parâmetros totais, apenas 3.6B são ativados por token. Isso significa que ele roda muito mais rápido do que um modelo denso de 20B rodaria, mas você ainda precisa manter o modelo inteiro na memória. Em um quant de 4 bits ele fica em torno de 12.7 GB, e o piso prático é de cerca de 24 GB de RAM. Ele não cabe em uma placa de 12 GB como a RTX 3060, então, na prática, você vai precisar de uma GPU de 24 GB como a 4090, ou um Mac com Apple Silicon e bastante memória unificada.

No uso diário ele parece ágil para o tamanho que tem, que é justamente o ganho do MoE. Em uma RTX 4090 você pode esperar cerca de 393 tokens por segundo, e em um chip da linha M-series Max algo em torno de 160 tok/s, ambos bem acima da velocidade de leitura. Só com CPU em DDR5 a taxa cai para uns 23 tok/s, o que serve para tarefas em lote, mas não para chat interativo. A janela de contexto de 128K é generosa, mas é justamente a parte que consome memória de forma silenciosa: encha ela por completo e o uso total sobe para cerca de 38.5 GB depois que o KV cache é carregado. Mantenha o contexto de trabalho modesto, a menos que tenha folga de sobra, ou troque para o build q2, perto de 8.8 GB.

Ele foi feito para chat e raciocínio, e não para programação, então, para trabalho de código, algo como o Codestral 22B geralmente atende melhor, e o Mistral Small 3.1 24B é a escolha se você também quiser visão. Seu grande diferencial é a qualidade de raciocínio a um custo de apenas 3.6B parâmetros ativos, e, se quiser mais folga, o irmão maior GPT-OSS 120B escala a mesma receita para cima. A licença é Apache 2.0, então ele é realmente livre para usar, inclusive comercialmente e em produção, sem amarras específicas do provedor.