Puis-je faire tourner Nemotron 3 Nano 30B-A3B ?

Nemotron 3 Nano est un modèle mixture-of-experts (MoE) de NVIDIA, pensé pour ceux qui veulent du chat, du raisonnement et du code solides en local sans payer le coût d'un modèle dense complet. L'astuce est dans le nom : il embarque 31.6B de paramètres au total mais n'en active qu'environ 3.6B par token, si bien qu'il génère à la vitesse d'un tout petit modèle tout en raisonnant comme un bien plus gros. Le piège que tout nouveau venu au MoE découvre à ses dépens : il faut quand même charger l'ensemble en mémoire. En quantification 4-bit, cela représente environ 19 GB de poids, et il vous faut au moins 32 GB de RAM, ce qui élimine d'emblée une carte de 12 GB comme une RTX 3060.

À l'usage quotidien, l'astuce des paramètres actifs prend tout son sens. Sur une RTX 4090, il débite environ 393 tokens par seconde, ce qui est absurdement rapide pour un modèle aussi capable, et même un Apple Silicon M Max tourne autour de 160 tokens par seconde sur sa mémoire unifiée. En CPU seul sur DDR5, on tombe à environ 23 tokens par seconde : exploitable pour du traitement par lots, mais pas pour du chat interactif. L'argument phare est la fenêtre de contexte de 1,000K, mais voyez-y un chiffre d'affichage : dès 128K de contexte, l'empreinte mémoire totale grimpe à environ 50 GB, donc sur une machine de 32 GB vous travaillez réalistement avec quelques dizaines de milliers de tokens, pas un million.

Face à ses concurrents, Gemma 4 31B est le choix plus polyvalent si vous avez besoin de vision, puisque Nemotron 3 Nano se limite au texte, et Granite 4.0 H Small constitue une alternative dense de taille comparable si vous préférez éviter les bizarreries mémoire du MoE. Ce que Nemotron fait de mieux, c'est le débit par niveau de qualité : rien d'autre dans cette catégorie de taille ne génère aussi vite tout en gérant le raisonnement multi-étapes. Une mise en garde avant de bâtir dessus : la licence NVIDIA Open Model est open-weight, pas véritablement open-source, alors lisez attentivement les conditions plutôt que de présumer une liberté à la Apache pour un usage commercial.