Posso rodar o Ministral 3 3B?

O Ministral 3 3B é a resposta da Mistral para a pergunta "qual é o menor modelo que ainda parece um assistente de verdade?". Com 3B de parâmetros, ele foi feito para chat e tarefas leves de visão em hardware que você já tem. Um quant de 4 bits fica em torno de 1.8 GB, e dá para reduzir a build q2 para 1.3 GB se você estiver realmente sem espaço. Com um mínimo de 4 GB de RAM, ele roda num notebook de entrada, numa GPU antiga de 4 GB ou em qualquer Mac com Apple Silicon sem você se preocupar com memória. É o modelo que você escolhe quando um maior não cabe.

No uso diário, a velocidade é o destaque. Numa RTX 3060 você vê cerca de 168 tokens por segundo, um M-series Max chega perto de 192, e uma 4090 atinge uns 471 - tudo muito mais rápido do que você consegue ler, então as respostas parecem instantâneas. Só com CPU em DDR5 ainda dá conta de uns 28 tok/s, viável para trabalho em lote. A janela de contexto é generosa, de 256K, mas trate isso como um teto. Encher esse contexto fica caro rápido: com 128K de contexto, a carga total de memória sobe para cerca de 12.6 GB, bem acima da pegada do próprio modelo, então mantenha o contexto de trabalho modesto em máquinas pequenas.

Sendo honesto, em 3B você troca um pouco de profundidade por essa velocidade e pegada minúscula. O Mistral 7B geralmente se sai melhor em raciocínio mais difícil e cadeias de instruções mais longas, e o Mistral Nemo 12B abre ainda mais vantagem se você tiver memória de sobra. Onde o Ministral 3 3B vence é na combinação de throughput puro com o fato de também lidar com visão, algo que os Mistrals maiores, voltados só para chat, não fazem. Ele vem sob licença Apache 2.0, então você pode usá-lo comercialmente sem nenhuma amarra. Para um modelo pequeno rápido, gratuito e faz-tudo, ele merece seu lugar.