Posso rodar o Mistral 7B?

O Mistral 7B foi o modelo que provou pela primeira vez que um LLM pequeno de peso aberto podia ser realmente útil, e segue sendo uma escolha sensata para quem quer um assistente de chat local e leve. Em quantização de 4 bits ele fica em torno de 4.4 GB, então cabe com folga numa GPU de 8 GB, roda tranquilamente dentro da memória unificada de qualquer Mac com Apple Silicon, e até uma build de 2 bits em aproximadamente 3 GB é viável se você precisar encaixá-lo em hardware mais antigo. Sua licença Apache 2.0 é das mais permissivas que existem: livre para uso comercial, sem amarras do provedor.

No dia a dia ele é rápido e estável para chat e resumos curtos. Numa RTX 4090 ele chega a cerca de 196 tokens por segundo em 4 bits, e até uma modesta RTX 3060 12GB mantém uns 70 tok/s, mais rápido do que você consegue ler; um M-series Max fica perto de 80 tok/s. A janela de contexto de 32K é confortável, mas não enorme, e preenchê-la por completo eleva a memória total para cerca de 8.4 GB, então numa placa apertada de 8 GB convém manter o contexto de trabalho modesto em vez de encher a janela inteira.

A ressalva honesta é a idade: lançado no fim de 2023, ele fica atrás dos modelos pequenos mais novos em raciocínio mais difícil e em seguir instruções, e o Mistral Nemo 12B geralmente lida melhor com prompts mais longos e exigentes, se você puder dispor da memória. Para programação especificamente, o Qwen 2.5 Coder 7B costuma ser a opção mais forte num tamanho parecido. Onde o Mistral 7B ainda vence é em simplicidade e alcance: é minúsculo, totalmente aberto sob Apache 2.0, e tem anos de ferramentas por trás da tag simples 'mistral' do Ollama, o que faz dele uma base confiável e sem surpresas.