Puis-je faire tourner Ministral 3 3B ?

Le Ministral 3 3B est la réponse de Mistral à la question "quel est le plus petit modèle qui ressemble encore à un vrai assistant ?". Avec 3B de paramètres, il est conçu pour le chat et des tâches légères de vision sur le matériel que vous possédez déjà. Une quantification en 4 bits tient autour de 1.8 GB, et vous pouvez réduire la version q2 à 1.3 GB si vous êtes vraiment à court d'espace. Avec seulement 4 GB de RAM au minimum, il tourne sur un ordinateur portable d'entrée de gamme, un vieux GPU de 4 GB ou n'importe quel Mac Apple Silicon sans que vous ayez à vous soucier de la mémoire. C'est le modèle vers lequel on se tourne quand un plus gros ne rentre pas.

À l'usage quotidien, c'est la vitesse qui marque le plus. Sur une RTX 3060, vous voyez environ 168 tokens par seconde, un M-series Max approche les 192 tok/s, et une 4090 atteint près de 471 tok/s - le tout bien plus rapide que ce que vous pouvez lire, si bien que les réponses semblent instantanées. En CPU seul sur de la DDR5, vous obtenez encore ~28 tok/s, ce qui reste utilisable pour du traitement par lots. La fenêtre de contexte est généreuse à 256K, mais voyez-la comme un plafond. La remplir devient vite coûteux : à 128K de contexte, la charge mémoire totale grimpe à environ 12.6 GB, bien au-delà de l'empreinte du modèle lui-même - gardez donc un contexte de travail modeste sur les petites machines.

Pour être honnête, en 3B vous échangez un peu de profondeur contre cette vitesse et cette empreinte minuscule. Mistral 7B tient généralement mieux sur du raisonnement plus difficile et de longues chaînes d'instructions, et Mistral Nemo 12B reprend nettement l'avantage si vous avez de la mémoire à revendre. Là où le Ministral 3 3B gagne, c'est dans la combinaison d'un débit brut et du fait qu'il gère aussi la vision - ce que les plus gros Mistral, dédiés uniquement au chat, ne font pas. Il est distribué sous licence Apache 2.0, vous pouvez donc l'utiliser commercialement sans aucune contrainte. Pour un petit modèle rapide, gratuit et polyvalent, il mérite sa place.