Posso rodar o Nemotron 3 Super 120B-A12B?

O Nemotron 3 Super 120B-A12B é o modelo mixture-of-experts da NVIDIA para quem quer raciocínio e programação de ponta no próprio hardware e tem memória para sustentar isso. Apesar de carregar 120B de parâmetros totais, apenas 12B são ativados por token, então ele roda bem mais rápido do que o tamanho sugere, mas ainda exige espaço para o modelo inteiro. Esse é o detalhe: mesmo em quantização de 4 bits ele fica em torno de 72.8 GB, e você precisa de pelo menos 96 GB de RAM para carregá-lo. Não é um modelo para GPU de 8 GB. Uma RTX 4090 de 24 GB não dá conta dele, e nem a versão de 2 bits, em cerca de 50 GB, fica ao alcance. Uma máquina Apple Silicon com bastante memória unificada ou um servidor com muita RAM de sistema é o lar realista para ele.

No uso diário, o desenho MoE compensa. Em um Apple M Max você pode esperar cerca de 48 tokens por segundo, o que parece realmente interativo para chat, raciocínio em várias etapas e ajuda com código, apesar do rótulo de 120B. Rode na CPU com DDR5 e você cai para cerca de 7 tokens por segundo, utilizável para trabalho em lote, mas não para conversa ao vivo. A janela de contexto é enorme, com 1000K tokens, mas trate isso como um teto, não como um valor para deixar no máximo. Preencher mesmo 128K leva a memória total para aproximadamente 129.5 GB quando se conta o cache KV, então numa máquina de 96 GB você vai ficar sem folga muito antes de chegar ao limite anunciado. Mantenha o contexto de trabalho modesto, a menos que tenha memória de sobra.

Diante de seus parentes mais próximos, o Nemotron 3 Super está em companhia interessante. O Qwen 3.5 122B-A10B é um MoE de escala parecida que também lida com visão, o que este modelo não faz, então se você precisa de entrada de imagem aquele geralmente leva vantagem. O Mistral Small 4 119B é comparável em tamanho e também multimodal. Se o seu hardware não chega tão longe, o bem menor Nemotron 3 Nano 30B-A3B é a alternativa leve da mesma família e costuma ser a escolha pragmática em máquinas limitadas. O ponto forte do Super é entregar raciocínio na classe dos 120B com velocidade na classe dos 12B para quem consegue hospedá-lo. Um aviso: ele vem sob a licença NVIDIA Open Model, então confira esses termos antes de depender dele comercialmente, em vez de presumir liberdade plena de código aberto.