Puis-je faire tourner Nemotron 3 Super 120B-A12B ?

Nemotron 3 Super 120B-A12B est le modèle mixture-of-experts de NVIDIA, pensé pour ceux qui veulent un raisonnement et du code de niveau frontier sur leur propre matériel et qui ont la mémoire pour. Malgré ses 120B de paramètres au total, seuls 12B s'activent par token : il tourne donc bien plus vite que sa taille ne le laisse croire, tout en exigeant de la place pour le modèle entier. C'est là le piège : même en quantification 4-bit, il pèse environ 72.8 GB, et il faut au moins 96 GB de RAM pour le charger. Ce n'est pas un modèle pour GPU de 8 GB. Un RTX 4090 de 24 GB ne peut pas l'héberger, et même une version 2-bit autour de 50 GB reste hors de portée. Une grosse machine Apple Silicon à mémoire unifiée, ou un serveur avec beaucoup de RAM système, est son foyer réaliste.

À l'usage quotidien, l'architecture MoE porte ses fruits. Sur un Apple M Max, vous pouvez tabler sur environ 48 tokens par seconde, ce qui reste vraiment interactif pour le chat, le raisonnement en plusieurs étapes et l'aide au code, malgré l'étiquette 120B. Basculez-le sur CPU avec de la DDR5 et vous tombez à près de 7 tokens par seconde : exploitable pour du traitement par lots, mais pas pour de la conversation en direct. La fenêtre de contexte est énorme, à 1000K tokens, mais voyez-la comme un plafond, pas comme un réglage à laisser au maximum. Remplir ne serait-ce que 128K fait grimper la mémoire totale à environ 129.5 GB une fois le cache KV pris en compte ; sur une machine de 96 GB, vous serez donc à court de marge bien avant d'atteindre la limite annoncée. Gardez un contexte de travail modeste, sauf si la mémoire ne vous manque pas.

Face à ses plus proches cousins, Nemotron 3 Super évolue dans une compagnie intéressante. Qwen 3.5 122B-A10B est un MoE de taille comparable qui gère aussi la vision, ce que ce modèle ne fait pas : si vous avez besoin d'entrée image, celui-ci a généralement l'avantage. Mistral Small 4 119B est comparable en taille et également multimodal. Si votre matériel ne peut pas suivre, le bien plus petit Nemotron 3 Nano 30B-A3B est l'alternative légère de la même famille et s'avère souvent le choix pragmatique sur des machines contraintes. La force de Super, c'est d'offrir un raisonnement de classe 120B à une vitesse de classe 12B, pour qui peut l'héberger. Une réserve : il est distribué sous licence NVIDIA Open Model, vérifiez donc ces conditions avant de l'utiliser en production commerciale, plutôt que de présumer d'une liberté open-source pure et simple.