Posso rodar o Devstral Small 2 24B?

O Devstral Small 2 é o modelo de código 24B da Mistral, e o nome subestima quanto hardware ele exige. Em quantização de 4-bit os pesos ficam em torno de 14.6 GB, então as placas de 12 GB que a maioria das pessoas tem estão fora: em uma RTX 3060 ele simplesmente não cabe. Na prática você vai querer 24 GB de memória para rodá-lo com folga, o que significa uma GPU de 24 GB como a 4090 ou um Mac com Apple Silicon com pelo menos 24 GB de memória unificada. Se você descer para 2-bit ele encolhe para cerca de 10.1 GB, mas é uma troca dura de qualidade para um modelo cuja razão de existir é gerar código com cuidado.

Em uma 4090 dá para esperar por volta de 59 tokens por segundo em 4-bit, o que é genuinamente agradável para um loop de codificação agêntico em que ele lê arquivos, planeja e edita. Em um M-series Max ele fica mais perto de 24 tok/s, ainda usável para trabalho interativo, mas você sente nas gerações mais longas. O destaque dos 256K de contexto é real e útil para alimentar repositórios inteiros, mas seja honesto quanto ao custo: mesmo em 128K a ficha técnica coloca o uso total de memória perto de 42.1 GB, bem além de uma única placa de 24 GB. Trate o contexto grande como algo que você usa de propósito, não um padrão que você deixa aberto.

Frente aos seus irmãos, o Devstral é a escolha para trabalho sério: o Mistral 7B e o Mistral Nemo 12B são mais leves e fáceis de hospedar, mas em geral mais fracos em tarefas de codificação com vários passos, enquanto o Gemma 4 26B A4B é o par mais próximo para código e raciocínio e vale uma comparação lado a lado se você tiver memória. O que faz o Devstral se destacar é que ele foi construído para edição de código agêntica, com uso de ferramentas, em vez de chat de uma tacada só, e esse foco aparece em como ele segue um plano por vários arquivos. A licença é Apache 2.0, então você pode usá-lo comercialmente e em produção sem restrições, o que é raro para um modelo tão capaz.