Posso rodar o Mistral Small 4 119B?

O Mistral Small 4 119B é o ponto fora da curva nesta família: tem "small" no nome, mas carrega 119B de parâmetros no total como um mixture-of-experts que ativa apenas 6.5B por token. É esse design que faz ele render acima do seu tamanho ativo em velocidade, mas você ainda paga pelo modelo inteiro na memória. Em 4-bit ele fica em torno de 72 GB, e você precisa de aproximadamente 96 GB de RAM para mantê-lo carregado. Nenhuma GPU de consumo dá conta deste: uma RTX 3060 de 12 GB e até uma RTX 4090 de 24 GB ficam ambas de fora. É um modelo para workstation ou máquina com bastante memória unificada, não uma escolha para notebook.

No uso diário, o truque do MoE compensa onde importa. Em um Apple M Max com bastante memória ele roda perto de 88 tokens por segundo, o que parece conversacional para um modelo deste porte, e até na CPU com DDR5 você consegue cerca de 13 tokens por segundo se tiver paciência. O contexto de 256K é generoso no papel, mas fique de olho na memória: com contexto de 128K o consumo total sobe para cerca de 128.6 GB, então a janela longa só é real se você tiver a RAM para sustentá-la. Trate o contexto completo como uma questão de orçamento de hardware, não como uma configuração de graça.

Dentro da própria linhagem, o Mistral 7B e o Nemo 12B são as opções leves e só de chat para quem não consegue alimentar 96 GB; este modelo costuma sair na frente em raciocínio, código e visão, que esses dois nem chegam a suportar. Seu concorrente mais próximo aqui é o Nemotron 3 Super 120B-A12B, outro MoE grande na mesma faixa de peso; os dois tendem a se equilibrar em vez de um liderar com clareza. O destaque é que você ganha um modelo de quatro tarefas (chat, raciocínio, código e visão) sob uma verdadeira licença Apache 2.0, ou seja, uso comercial e em produção totalmente liberado, sem amarras do provedor.