Puis-je faire tourner Mistral Small 4 119B ?

Mistral Small 4 119B est l'intrus de cette famille : « small » dans le nom, mais il embarque 119B de paramètres au total sous forme de mixture-of-experts qui n'en active que 6.5B par token. C'est cette architecture qui lui permet de dépasser sa taille active en vitesse, mais vous payez quand même le modèle entier en mémoire. En 4-bit, il pèse environ 72 GB, et il faut à peu près 96 GB de RAM pour le charger. Aucun GPU grand public ne le fait tenir : une RTX 3060 12 GB et même une RTX 4090 24 GB sont toutes deux hors course. C'est un modèle pour station de travail ou grosse machine à mémoire unifiée, pas un choix pour ordinateur portable.

À l'usage quotidien, l'astuce MoE paie là où ça compte. Sur un Apple M Max bien doté en mémoire, il tourne autour de 88 tokens par seconde, ce qui reste fluide pour un modèle de cette taille, et même sur CPU avec de la DDR5 vous obtenez environ 13 tokens par seconde si vous êtes patient. Le contexte de 256K est généreux sur le papier, mais surveillez la mémoire : à 128K de contexte, l'empreinte totale grimpe à environ 128.6 GB, donc la longue fenêtre n'est réelle que si vous avez la RAM pour la soutenir. Considérez le contexte complet comme une question de budget matériel, pas comme une option gratuite.

Face à sa propre lignée, Mistral 7B et Nemo 12B sont les options légères, limitées au chat, si vous ne pouvez pas fournir 96 GB ; ce modèle prend généralement l'avantage sur le raisonnement, le code et la vision, que ces deux-là ne gèrent pas du tout. Son rival le plus proche ici est Nemotron 3 Super 120B-A12B, un autre gros MoE de la même catégorie de poids ; les deux ont tendance à se rendre coup pour coup plutôt qu'à voir l'un dominer nettement. L'atout marquant, c'est que vous obtenez un modèle quatre tâches (chat, raisonnement, code, vision) sous une vraie licence Apache 2.0, donc les usages commercial et en production sont pleinement autorisés, sans contrainte imposée par le fournisseur.