Posso rodar o Mistral Small 3.1 24B?

O Mistral Small 3.1 24B é o modelo para quando um modelo de 8B começa a decepcionar nos prompts mais difíceis, mas você ainda não quer subir para um de 70B. É um modelo de chat e visão de 24B, ou seja, lê imagens tão bem quanto texto, e vem sob licença Apache 2.0, o que significa que você pode usá-lo comercialmente e em produção sem amarras. A pegada é o porém: em quantização de 4-bit ele fica em torno de 14.6 GB, e você precisa de mais ou menos 24 GB de memória para rodá-lo com folga. Isso descarta uma placa de 12 GB como a RTX 3060, onde ele simplesmente não cabe, e aponta para uma GPU de 24 GB ou um Mac com Apple Silicon com bastante memória unificada.

Numa placa de 24 GB como a RTX 4090 ele anda a cerca de 59 tokens por segundo em 4-bit, mais rápido do que você lê e genuinamente ágil para um modelo desse tamanho. Num M-series Max você fica mais perto de 24 tokens por segundo, ainda perfeitamente usável para chat interativo. Só na CPU, com DDR5, cai para cerca de 4 tokens por segundo: tranquilo para uma tarefa em lote durante a noite, mas não para ficar esperando na frente da tela. A janela de contexto de 128K é real, porém cara: encha-a por completo e a memória total sobe para cerca de 42.1 GB, bem acima do que o modelo precisa em contexto curto, então mantenha o contexto de trabalho enxuto a menos que tenha sobra de memória.

Dentro da própria família, ele é o peso-pesado: o Mistral Nemo 12B é a escolha mais leve e rápida se você estiver limitado de memória, e o Mistral 7B é a opção mínima, mas nenhum dos dois alcança o Small 3.1 em raciocínio mais difícil ou em seguir instruções. O Gemma 4 26B A4B é o rival mais próximo em capacidade bruta e soma força em código e raciocínio, então compare os dois se essas tarefas forem as que mais importam para você. O traço de destaque do Small 3.1 é a combinação que raramente vem junta: visão nativa, contexto longo e uma licença Apache 2.0 totalmente permissiva, o que o torna um dos modelos capazes mais fáceis de colocar de fato em um produto.