¿Puedo ejecutar Nemotron 3 Nano 30B-A3B?

Nemotron 3 Nano es un modelo mixture-of-experts de NVIDIA pensado para quienes quieren buen rendimiento en chat, razonamiento y programación desde un equipo local, sin pagar el coste completo de un modelo denso. El truco está en el nombre: suma 31.6B parámetros en total, pero solo enruta unos 3.6B por token, así que genera a la velocidad de un modelo diminuto mientras razona como uno mucho más grande. La pega que todo recién llegado a los MoE aprende a las malas es que igual tienes que cargarlo entero. En cuantización de 4 bits eso son unos 19 GB de pesos, y conviene tener al menos 32 GB de RAM, lo que descarta por completo una tarjeta de 12 GB como la RTX 3060.

En el uso diario el truco de los parámetros activos se nota de verdad. En una RTX 4090 va a unos 393 tokens por segundo, una barbaridad de rápido para un modelo tan capaz, e incluso un Apple Silicon M Max ronda los 160 tokens por segundo sobre memoria unificada. Solo con CPU en DDR5 baja a unos 23 tokens por segundo, suficiente para trabajos por lotes pero no para chat interactivo. La característica estrella es la ventana de contexto de 1,000K, pero tómala como un número de escaparate: con solo 128K de contexto el consumo total de memoria sube a unos 50 GB, así que en una máquina de 32 GB trabajas de forma realista con unas pocas decenas de miles de tokens, no con un millón.

Frente a sus rivales, Gemma 4 31B es la opción más flexible si necesitas visión, ya que Nemotron 3 Nano es solo texto, y Granite 4.0 H Small es una alternativa densa de tamaño comparable si prefieres no lidiar con las rarezas de memoria de los MoE. Lo que mejor hace Nemotron es la relación rendimiento-por-calidad: nada más en esta categoría de tamaño genera tan rápido sin dejar de manejar razonamiento de varios pasos. Una advertencia antes de construir sobre él: la licencia NVIDIA Open Model es de pesos abiertos, no software libre de verdad, así que lee bien los términos en vez de dar por sentada una libertad estilo Apache para uso comercial.