Puis-je faire tourner Codestral 22B ?

Codestral 22B est le modèle de Mistral AI dédié au code, conçu pour la complétion et la génération de code plutôt que pour la conversation libre. Avec 22,2 milliards de paramètres, il marque un vrai saut de taille par rapport aux modèles 7B-12B sur lesquels la plupart des gens débutent, et l'empreinte mémoire le confirme : une quantification 4-bit pèse environ 13.5 GB et le modèle réclame au moins 24 GB de RAM pour tourner confortablement. Cela le met hors de portée d'une carte 12 GB comme une RTX 3060, sur laquelle il ne tient tout simplement pas. Une carte 24 GB telle qu'une RTX 4090, ou un Mac Apple Silicon avec beaucoup de mémoire unifiée, constitue le point d'entrée réaliste.

Sur une RTX 4090, vous pouvez tabler sur environ 64 tok/s en 4-bit, assez rapide pour que les suggestions de code semblent quasi instantanées. Un Mac Apple série M Max descend plus bas, autour de 26 tok/s, ce qui reste utilisable pour de l'édition interactive, tandis qu'en CPU seul sur DDR5 on tombe à environ 4 tok/s, vraiment réservé aux traitements par lots que l'on peut lancer et laisser tourner. La fenêtre de contexte est de 32K, modeste selon les standards actuels mais généreuse pour la plupart des travaux sur un seul fichier ou un petit dépôt. Remplissez-la complètement et vous arrivez à environ 20.1 GB de mémoire totale, donc sur une carte 24 GB un contexte plein ne laisse que peu de marge.

Face à ses cousins de la même famille, Codestral est le spécialiste : Mistral Nemo 12B est le choix généraliste plus léger pour le chat si la mémoire vous manque, et GPT-OSS 20B garde généralement l'avantage pour le raisonnement et la conversation. Le point fort de Codestral, c'est d'avoir été entraîné spécifiquement pour le code dans de nombreux langages : pour la complétion fill-in-the-middle et la génération, il vise donc plus juste qu'un généraliste de taille équivalente. La réserve sérieuse concerne la licence : Codestral est distribué sous la MNPL de Mistral, une licence non-production, vous ne pouvez donc pas l'utiliser à des fins commerciales ni dans un produit en production. Considérez-le uniquement comme un outil de recherche et d'usage personnel.