Posso rodar o Magistral Small 1.2?

O Magistral Small 1.2 é o modelo de raciocínio de 24B da Mistral, voltado para quem quer um assistente local que realmente pense em problemas de múltiplas etapas, em vez de só conversar. Ele também lida com visão e conversa geral, mas o raciocínio é o motivo de escolhê-lo. O primeiro ponto a planejar é o tamanho na memória: em quantização de 4 bits ele fica perto de 14.6 GB, e você precisa de cerca de 24 GB de memória para rodá-lo com folga. Isso elimina uma placa de 12 GB como a RTX 3060, onde ele simplesmente não cabe, e aponta para uma GPU de 24 GB ou um Mac Apple Silicon com mais memória.

Numa RTX 4090 ele gera por volta de 59 tokens por segundo, rápido o suficiente para que o raciocínio passo a passo nunca pareça espera. Num M-series Max você fica mais perto de 24 tokens por segundo, ainda perfeitamente usável para trabalho interativo, e só com CPU em DDR5 cai para cerca de 4 tokens por segundo, ok para tarefas em lote, mas não para chat ao vivo. O contexto de 128K é real, mas consome bastante memória: preencha-o e o uso total sobe para cerca de 42 GB, bem além do que uma única placa de 24 GB comporta, então mantenha o contexto de trabalho modesto a menos que você tenha sobra.

Entre seus irmãos, o Mistral Nemo 12B é a escolha mais leve e rápida se você quer principalmente chat e não pode gastar tanta memória, enquanto o Gemma 4 26B A4B costuma competir mais diretamente em raciocínio, código e visão num tamanho parecido. O grande diferencial do Magistral é esse foco em raciocínio num modelo que você pode possuir por completo: a licença Apache 2.0 significa que você pode usá-lo comercialmente e em produção, sem amarras do provedor, algo raro para um modelo de raciocínio de 24B competente. Se você tem os 24 GB para alimentá-lo, ele é um dos modelos de raciocínio local mais sérios disponíveis.