Puis-je faire tourner Mistral Nemo 12B ?

Mistral Nemo 12B, c'est le modèle vers lequel on se tourne quand un 8B paraît un peu juste mais qu'on veut toujours quelque chose qui tient sur un seul GPU grand public. Il s'agit d'un modèle de chat dense de 12,2B signé Mistral AI, et en quantification 4 bits il pèse environ 7.4 GB, ce qui se loge sans peine sur une carte de 12 GB comme une RTX 3060, avec de la marge pour le contexte. Le minimum pour le charger avoisine 12 GB de RAM : il est donc à l'aise sur un Mac Apple Silicon doté de 16 GB ou plus, et il avancera tant bien que mal sur CPU si vous n'avez rien d'autre.

Au quotidien, il donne l'impression d'un assistant généraliste bien élevé : régulier pour le chat, le résumé et la réécriture, sans les ratés occasionnels des modèles plus petits. Sur une RTX 3060, comptez environ 41 tokens par seconde en 4 bits, et un M-series Max pousse cela à près de 47, dans les deux cas plus vite que vous ne lisez. La fenêtre de contexte de 128K est bien réelle, mais elle n'est pas gratuite : remplissez-la entièrement et la mémoire totale grimpe autour de 27.7 GB, bien au-delà de ce que contient une seule carte de 12 GB. Gardez donc un contexte de travail modeste, sauf si vous disposez d'un GPU de 24 GB ou d'une mémoire unifiée abondante.

Face à ses voisins, Mistral Small 3.1 24B prend généralement l'avantage sur le raisonnement plus difficile et ajoute la vision, tandis que Gemma 3 12B est l'alternative de taille comparable si vous voulez l'entrée d'image que Nemo n'offre pas. La grande force de Nemo, c'est son juste équilibre : un 12B orienté chat qui reste sur un seul GPU grand public et qui est distribué sous Apache 2.0, ce qui vous permet de l'utiliser commercialement et en production sans aucune contrainte. Si vous cherchez un assistant texte capable qui fonctionne simplement en local et ne soulève jamais la moindre question de licence, c'est un choix évident.