Posso rodar o Nemotron 3 Nano 30B-A3B?

O Nemotron 3 Nano é um modelo mixture-of-experts da NVIDIA voltado para quem quer chat, raciocínio e código fortes numa máquina local sem pagar o custo total de um modelo dense. O truque está no nome: ele tem 31.6B de parâmetros no total, mas roteia apenas cerca de 3.6B por token, então gera na velocidade de um modelo minúsculo enquanto pensa com um bem maior. A pegadinha que todo iniciante em MoE descobre do jeito difícil é que você ainda precisa carregar o modelo inteiro. Em quantização de 4 bits, isso dá uns 19 GB de pesos, e você vai querer pelo menos 32 GB de RAM, o que descarta de vez uma placa de 12 GB como a RTX 3060.

No uso diário, o truque dos parâmetros ativos realmente aparece. Numa RTX 4090 ele transmite a cerca de 393 tokens por segundo, o que é absurdamente rápido para um modelo tão capaz, e até um Apple Silicon M Max fica perto de 160 tokens por segundo usando memória unificada. Só na CPU com DDR5 a velocidade cai para uns 23 tokens por segundo, suficiente para tarefas em lote, mas não para chat interativo. O destaque anunciado é a janela de contexto de 1.000K, mas encare isso como número de outdoor: com apenas 128K de contexto, o consumo total de memória sobe para cerca de 50 GB, então numa máquina de 32 GB você trabalha, na prática, com algumas dezenas de milhares de tokens, não um milhão.

Frente aos concorrentes, o Gemma 4 31B é a escolha mais flexível se você precisa de visão, já que o Nemotron 3 Nano é só texto, e o Granite 4.0 H Small é uma alternativa dense de tamanho parecido caso você prefira não lidar com as peculiaridades de memória do MoE. O que o Nemotron faz de melhor é throughput por qualidade: nada mais nessa faixa de tamanho gera tão rápido enquanto ainda dá conta de raciocínio em várias etapas. Um cuidado antes de construir em cima dele: a licença NVIDIA Open Model é de pesos abertos, não open-source de verdade, então leia os termos com atenção em vez de presumir uma liberdade no estilo Apache para uso comercial.