Posso rodar o Codestral 22B?

O Codestral 22B é o modelo de código dedicado da Mistral AI, feito para autocompletar e gerar código em vez de bate-papo aberto. Com 22.2 bilhões de parâmetros, é um salto real de tamanho frente aos modelos de 7B-12B com que a maioria começa, e o consumo deixa isso claro: uma quantização de 4 bits fica em torno de 13.5 GB e o modelo pede pelo menos 24 GB de RAM para rodar com folga. Isso o deixa fora do alcance de uma placa de 12 GB como a RTX 3060, onde ele simplesmente não cabe. Uma GPU de 24 GB como a RTX 4090, ou um Mac com Apple Silicon e bastante memória unificada, é o ponto de entrada realista.

Numa RTX 4090 dá para esperar cerca de ~64 tok/s em 4 bits, rápido o suficiente para que as sugestões de código pareçam quase instantâneas. Um Apple M-series Max fica mais abaixo, em torno de ~26 tok/s, ainda usável para edição interativa, enquanto rodar só na CPU com DDR5 cai para uns ~4 tok/s, o que serve mesmo só para tarefas em lote que você deixa rodando sozinho. A janela de contexto é de 32K, modesta para os padrões de hoje, mas generosa para a maior parte do trabalho com arquivo único e repositórios pequenos. Preenchendo ela por completo, você chega a cerca de 20.1 GB de memória total, então numa placa de 24 GB um contexto cheio deixa pouca margem.

Entre os modelos da mesma família, o Codestral é o especialista: o Mistral Nemo 12B é a escolha mais leve e de propósito geral para conversa quando a memória é curta, e o GPT-OSS 20B costuma levar vantagem em raciocínio e diálogo. O grande diferencial do Codestral é ter sido treinado especificamente para código em muitas linguagens, então para autocompletar fill-in-the-middle e geração ele tende a parecer mais certeiro do que um generalista do mesmo tamanho. A ressalva séria é a licença: o Codestral vem sob a MNPL da Mistral, uma licença de não produção, então você não pode usá-lo comercialmente nem em um produto em produção. Trate-o apenas como ferramenta de pesquisa e uso pessoal.