Posso rodar o Devstral 24B?

O Devstral 24B é o especialista em programação da Mistral AI, feito para quem quer um agente local competente para trabalho com software, e não um companheiro de chat genérico. Com 24B de parâmetros densos, ele não é leve: o quant de 4-bit fica em torno de 14.6 GB e o modelo precisa de aproximadamente 24 GB de RAM no mínimo para rodar com folga. Isso o coloca fora do alcance de uma placa de 12 GB como a RTX 3060, onde ele simplesmente não cabe. O lugar natural é uma GPU de 24 GB, como a RTX 4090, ou um Mac com Apple Silicon e bastante memória unificada. Se você está com pouco espaço, a versão de 2-bit cai para cerca de 10.1 GB.

No uso diário de programação em uma RTX 4090, dá para esperar por volta de 59 tokens por segundo em 4-bit, rápido o bastante para que o código gerado apareça de forma fluida enquanto você lê. Em um Apple M-series Max, fica mais perto de 24 tokens por segundo, ainda perfeitamente utilizável para trabalho interativo, e só na CPU com DDR5 cai para cerca de 4 tokens por segundo, território de paciência. A janela de contexto de 128K é realmente grande, mas não sai de graça: enchê-la empurra a memória total para cerca de 42.1 GB, bem acima do consumo em repouso do modelo, então mantenha o contexto de trabalho modesto a não ser que você tenha folga de sobra.

Frente aos seus pares de família, o Devstral 24B é o peso-pesado: o Mistral 7B e o Mistral Nemo 12B são bem mais leves e voltados para chat geral, então rodam em hardware que o Devstral nem encosta, mas costumam ficar atrás dele nas tarefas reais de programação. A comparação mais próxima é o Gemma 4 26B A4B, um modelo de tamanho parecido que também lida com programação além de chat, raciocínio e visão, e tende a ser o generalista mais versátil se você quiser um único modelo para tudo. O traço marcante do Devstral é seu foco estreito em código, e a licença Apache 2.0 significa que você pode usá-lo livremente, inclusive em produção comercial.