Puis-je faire tourner Mistral 7B ?

Mistral 7B est le modèle qui a prouvé le premier qu'un petit LLM open-weight pouvait être réellement utile, et il reste un choix pertinent pour qui veut un assistant de chat local et léger. En quantification 4-bit, il pèse environ 4.4 GB : il tient donc largement sur un GPU de 8 GB, tourne sans peine dans la mémoire unifiée de n'importe quel Mac Apple Silicon, et une version 2-bit autour de 3 GB reste envisageable si vous le faites entrer sur du matériel plus ancien. Sa licence Apache 2.0 est à peu près la plus permissive qui soit : usage commercial libre, aucune contrainte côté fournisseur.

Au quotidien, il est rapide et régulier pour le chat et les résumés courts. Sur une RTX 4090, il atteint environ 196 tokens par seconde en 4-bit, et même une modeste RTX 3060 12GB tient autour de 70 tok/s, soit plus vite que vous ne pouvez lire ; un Mac M-series Max se situe près de 80 tok/s. La fenêtre de contexte de 32K est confortable sans être énorme, et la remplir entièrement fait grimper la mémoire totale à environ 8.4 GB : sur une carte de 8 GB un peu juste, mieux vaut donc garder un contexte de travail modeste plutôt que de saturer toute la fenêtre.

La réserve honnête, c'est l'âge : sorti fin 2023, il est en retrait par rapport aux nouveaux petits modèles sur le raisonnement difficile et le suivi d'instructions, et Mistral Nemo 12B gère généralement mieux les prompts plus longs et plus exigeants si vous avez la mémoire pour. Pour le code en particulier, Qwen 2.5 Coder 7B est souvent le meilleur choix à taille comparable. Là où Mistral 7B garde l'avantage, c'est la simplicité et la portée : il est minuscule, entièrement ouvert sous Apache 2.0, et bénéficie d'années d'outillage derrière le tag Ollama tout simple 'mistral', ce qui en fait une base fiable et sans surprise.