Puis-je faire tourner Devstral Small 2 24B ?

Devstral Small 2 est le modèle de code 24B de Mistral, et son nom sous-estime largement le matériel qu'il réclame. En quantification 4-bit, les poids pèsent environ 14.6 GB, ce qui élimine d'emblée les cartes 12 GB de la plupart des gens : sur une RTX 3060, ça ne rentre tout simplement pas. Pour le faire tourner confortablement, il vous faut réalistement 24 GB de mémoire, autrement dit en pratique un GPU 24 GB comme une 4090, ou un Mac Apple Silicon avec au moins 24 GB de mémoire unifiée. Si vous descendez en 2-bit, la taille tombe à environ 10.1 GB, mais c'est un sacrifice de qualité sévère pour un modèle dont toute la raison d'être est de générer du code soigné.

Sur une 4090 en 4-bit, tablez sur environ 59 tok/s, un débit réellement agréable pour une boucle de codage agentique où le modèle lit des fichiers, planifie et édite. Sur un M Max, le chiffre se rapproche plutôt de ~24 tok/s : encore utilisable en interactif, mais sur les longues générations, la différence se sent. Le contexte de 256K mis en avant est bien réel et utile pour ingérer des dépôts entiers, mais soyez honnête sur son coût : dès 128K, la fiche technique situe la mémoire totale autour de 42.1 GB, soit bien au-delà d'une seule carte 24 GB. Voyez le grand contexte comme un outil auquel vous recourez sciemment, pas comme un réglage par défaut qu'on laisse ouvert.

Face à ses cousins, Devstral est le bon choix pour du travail sérieux : Mistral 7B et Mistral Nemo 12B sont plus légers et plus faciles à héberger, mais généralement plus faibles sur les tâches de code multi-étapes, tandis que Gemma 4 26B A4B est le concurrent le plus proche en code et en raisonnement, et vaut une comparaison côte à côte si vous avez la mémoire. Ce qui distingue Devstral, c'est qu'il a été conçu pour l'édition de code agentique avec usage d'outils plutôt que pour du chat one-shot, et cette orientation se voit dans sa façon de suivre un plan à travers plusieurs fichiers. Sa licence est Apache 2.0 : vous pouvez donc l'utiliser sans aucune restriction en commercial et en production, ce qui reste rare pour un modèle aussi capable.