Puis-je faire tourner Magistral Small 1.2 ?

Magistral Small 1.2 est le modèle de raisonnement 24B de Mistral, pensé pour ceux qui veulent un assistant local capable de vraiment dérouler des problèmes en plusieurs étapes plutôt que de simplement discuter. Il gère aussi la vision et la conversation générale, mais c'est le raisonnement qui justifie de l'adopter. L'empreinte mémoire est la première chose à anticiper : en quantification 4-bit, il avoisine 14.6 GB, et il faut environ 24 GB de mémoire pour le faire tourner confortablement. Cela exclut une carte de 12 GB comme une RTX 3060, où il ne tient tout simplement pas, et oriente vers un GPU de 24 GB ou un Mac Apple Silicon doté de plus de mémoire.

Sur une RTX 4090, il génère autour de 59 tokens par seconde, assez rapide pour que son raisonnement pas à pas ne donne jamais l'impression d'attendre. Sur un Mac de la série M Max, on est plus proche de 24 tokens par seconde, ce qui reste parfaitement exploitable en usage interactif, et en CPU seul sur DDR5, on tombe à environ 4 tokens par seconde, correct pour des traitements par lots mais pas pour du chat en direct. Le contexte de 128K est réel, mais gourmand en mémoire : remplissez-le et l'usage total grimpe à près de 42 GB, bien au-delà de ce qu'une seule carte de 24 GB peut contenir, donc gardez un contexte de travail modeste à moins d'avoir la marge nécessaire.

Face à ses cousins, Mistral Nemo 12B est le choix plus léger et plus rapide si vous voulez surtout du chat et ne pouvez pas vous permettre la mémoire, tandis que Gemma 4 26B A4B rivalise généralement de manière plus directe sur le raisonnement, le code et la vision pour une taille comparable. La force de Magistral, c'est cette orientation raisonnement dans un modèle que vous possédez entièrement : la licence Apache 2.0 vous permet de l'utiliser commercialement et en production sans aucune contrainte imposée par un fournisseur, ce qui est rare pour un modèle de raisonnement 24B de ce niveau. Si vous avez les 24 GB pour l'alimenter, c'est l'un des modèles de réflexion locaux les plus sérieux disponibles.