Kann ich Nemotron 3 Nano 30B-A3B lokal ausführen?

Nemotron 3 Nano ist ein Mixture-of-Experts-Modell von NVIDIA für alle, die starken Chat, gutes Reasoning und solides Coding lokal nutzen wollen, ohne die vollen Kosten eines dichten Modells zu zahlen. Der Trick steckt im Namen: Es trägt insgesamt 31.6B Parameter, routet pro Token aber nur etwa 3.6B davon. Dadurch generiert es so schnell wie ein winziges Modell, denkt aber mit einem deutlich größeren. Was jeder MoE-Einsteiger schmerzhaft lernt: Du musst trotzdem das Ganze laden. Bei 4-Bit-Quantisierung sind das rund 19 GB an Gewichten, und du willst mindestens 32 GB RAM. Eine 12-GB-Karte wie die RTX 3060 fällt damit komplett raus.

Im Alltag zahlt sich der Active-Parameter-Trick wirklich aus. Auf einer RTX 4090 streamt das Modell mit rund 393 tok/s, was für ein derart fähiges Modell absurd schnell ist, und selbst ein Apple Silicon M Max liegt im Unified Memory bei etwa 160 tok/s. Reiner CPU-Betrieb auf DDR5 fällt auf rund 23 tok/s ab, brauchbar für Batch-Jobs, aber nicht für interaktiven Chat. Das Aushängeschild ist das Kontextfenster von 1.000K, aber behandle das als Plakatzahl: Schon bei 128K Kontext steigt der gesamte Speicherbedarf auf etwa 50 GB. Auf einer 32-GB-Maschine arbeitest du realistisch also mit einigen zehntausend Tokens, nicht mit einer Million.

Im Vergleich zur Konkurrenz ist Gemma 4 31B die flexiblere Wahl, wenn du Vision brauchst, denn Nemotron 3 Nano ist reines Text-Modell, und Granite 4.0 H Small ist eine dichte Alternative ähnlicher Größe, falls du dir die Speicher-Eigenheiten von MoE lieber ersparst. Was Nemotron am besten kann, ist Durchsatz pro Qualität: Nichts anderes in dieser Größenklasse generiert so schnell und bewältigt dabei noch mehrstufiges Reasoning. Eine Warnung, bevor du darauf aufbaust: Die NVIDIA Open Model-Lizenz ist Open-Weight, nicht echtes Open-Source. Lies die Bedingungen also genau, statt für den kommerziellen Einsatz Apache-artige Freiheiten anzunehmen.