Puis-je faire tourner Mistral Small 3.1 24B ?

Mistral Small 3.1 24B, c'est le modèle vers lequel on se tourne quand un modèle 8B vous déçoit régulièrement sur les prompts difficiles, mais sans vouloir passer à un 70B. C'est un modèle 24B de chat et de vision : il lit aussi bien les images que le texte, et il est distribué sous licence Apache 2.0, ce qui vous autorise un usage commercial et en production sans aucune contrainte. Le hic, c'est l'empreinte mémoire : en quantification 4-bit, il tourne autour de 14.6 GB, et il vous faut environ 24 GB de mémoire pour le faire tourner confortablement. Cela exclut une carte de 12 GB comme une RTX 3060, où il ne tient tout simplement pas, et vous oriente vers un GPU de 24 GB ou un Mac Apple Silicon doté d'une mémoire unifiée généreuse.

Sur une carte de 24 GB comme une RTX 4090, il avance à environ 59 tokens par seconde en 4-bit, ce qui défile plus vite que vous ne lisez et donne une vraie sensation de réactivité pour un modèle de cette taille. Sur une puce M-series Max, vous êtes plutôt autour de 24 tokens par seconde, ce qui reste parfaitement utilisable pour du chat interactif. En CPU seul sur de la DDR5, on tombe à environ 4 tokens par seconde : correct pour un traitement par lots durant la nuit, mais pas pour attendre devant l'écran. La fenêtre de contexte de 128K est bien réelle, mais coûteuse : remplissez-la entièrement et la mémoire totale grimpe à environ 42 GB, bien au-delà de ce dont le modèle a besoin sur un contexte court. Gardez donc votre contexte de travail modéré, sauf si vous avez de la marge à revendre.

Au sein de sa propre famille, c'est le poids lourd : Mistral Nemo 12B est le choix plus léger et plus rapide si vous êtes contraint par la mémoire, et Mistral 7B est l'option minimale, mais aucun des deux n'égale Small 3.1 sur le raisonnement difficile ou le suivi d'instructions. Gemma 4 26B A4B est le rival le plus proche en capacité brute et ajoute des atouts en code et en raisonnement, alors comparez les deux si ces tâches comptent le plus pour vous. La force distinctive de Small 3.1, c'est une combinaison que l'on obtient rarement ensemble : vision native, contexte long et licence Apache 2.0 totalement permissive, ce qui en fait l'un des modèles performants les plus faciles à réellement mettre en production dans un produit.