¿Puedo ejecutar Nemotron 3 Super 120B-A12B?

Nemotron 3 Super 120B-A12B es el modelo mixture-of-experts de NVIDIA para quien quiere razonamiento y programación de primer nivel en su propio hardware y tiene la memoria necesaria. Aunque suma 120B de parámetros totales, solo se activan 12B por token, así que corre mucho más rápido de lo que sugiere su tamaño, aunque sigue exigiendo espacio para el modelo completo. Ahí está la trampa: incluso a 4 bits ronda los 72.8 GB, y necesitas al menos 96 GB de RAM para cargarlo. Este no es un modelo para una GPU de 8 GB. Una RTX 4090 de 24 GB no lo aguanta, y ni siquiera una versión a 2 bits de unos 50 GB queda a tu alcance. Su hogar realista es una Apple Silicon con memoria unificada amplia o un servidor con bastante RAM de sistema.

En el día a día el diseño MoE compensa. En una Apple M Max puedes esperar alrededor de 48 tokens por segundo, algo que se siente realmente interactivo para chat, razonamiento de varios pasos y ayuda con código, a pesar de la etiqueta de 120B. Si lo llevas a CPU con DDR5 bajas a unos 7 tokens por segundo: sirve para trabajo por lotes, pero no para conversación en vivo. La ventana de contexto es enorme, de 1000K tokens, pero trátala como un techo, no como un valor que dejas al máximo. Llenar apenas 128K eleva la memoria total a unos 129.5 GB una vez que cuentas la caché KV, así que en una máquina de 96 GB te quedarás sin margen mucho antes de llegar al límite anunciado. Mantén el contexto de trabajo moderado salvo que te sobre memoria.

Frente a sus parientes más cercanos, Nemotron 3 Super está en compañía interesante. Qwen 3.5 122B-A10B es un MoE de escala parecida que además maneja visión, algo que este modelo no hace, así que si necesitas entrada de imágenes ese suele llevar ventaja. Mistral Small 4 119B es comparable en tamaño y también multimodal. Si tu hardware no llega tan lejos, el mucho más pequeño Nemotron 3 Nano 30B-A3B es la alternativa ligera de la misma familia y suele ser la opción pragmática en máquinas limitadas. La virtud distintiva de Super es ofrecer razonamiento de clase 120B a velocidad de clase 12B para quienes pueden alojarlo. Una advertencia: se distribuye bajo la licencia NVIDIA Open Model, así que revisa esos términos antes de apoyarte en él comercialmente en lugar de dar por hecho una libertad de código abierto sin más.