Puis-je faire tourner Devstral 24B ?

Devstral 24B est le spécialiste du code de Mistral AI, conçu pour ceux qui veulent un agent local efficace pour le développement logiciel plutôt qu'un compagnon de discussion généraliste. Avec ses 24B de paramètres denses, ce n'est pas un poids plume : la quantification 4-bit pèse environ 14.6 GB et le modèle réclame au minimum à peu près 24 GB de RAM pour tourner confortablement. Cela le met hors de portée d'une carte de 12 GB comme une RTX 3060, sur laquelle il ne tient tout simplement pas. Son terrain naturel, c'est un GPU de 24 GB comme une RTX 4090, ou un Mac Apple Silicon doté d'une mémoire unifiée généreuse. Si l'espace manque, la version 2-bit descend autour de 10.1 GB.

Au quotidien, pour coder sur une RTX 4090, comptez environ 59 tokens par seconde en 4-bit : assez rapide pour que le code généré défile sans accroc pendant que vous le lisez. Sur un Mac Apple série M Max, on tombe plus près de 24 tokens par seconde, ce qui reste parfaitement utilisable en interactif, et en CPU seul sur de la DDR5 ça chute à environ 4 tokens par seconde, le domaine de la patience. La fenêtre de contexte de 128K est réellement vaste, mais elle a un prix : la remplir pousse la mémoire totale à près de 42.1 GB, bien au-delà de l'empreinte au repos du modèle, alors gardez un contexte de travail modeste à moins d'avoir la marge nécessaire.

Face à ses cousins, Devstral 24B joue dans la catégorie poids lourd : Mistral 7B et Mistral Nemo 12B sont bien plus légers et orientés discussion généraliste, ils tournent donc sur du matériel que Devstral ne peut pas viser, mais restent généralement en retrait sur les vraies tâches de code. La comparaison la plus pertinente est Gemma 4 26B A4B, un modèle de taille similaire qui gère aussi bien le code que la discussion, le raisonnement et la vision, et qui tend à être le généraliste le plus polyvalent si vous voulez un seul modèle pour tout faire. La force de Devstral, c'est sa focalisation étroite sur le code, et la licence Apache 2.0 vous permet de l'utiliser librement, y compris en production commerciale.