Kann ich Granite 4.0 H Small lokal ausführen?

Granite 4.0 H Small ist IBMs Mixture-of-Experts-Modell: 32B Parameter auf dem Papier, aber pro Token sind nur etwa 9B aktiv. Genau diese Aufteilung macht den Unterschied. Für seine Größe läuft es schnell, weil jedes Token nur einen Bruchteil der Gewichte berührt, doch du musst trotzdem das komplette Modell im Speicher halten. Plane deshalb mit den 32 GB Mindestbedarf statt mit der Zahl der aktiven Parameter. Bei 4-Bit-Quantisierung landet es bei rund 19,4 GB, was eine 12-GB-Karte wie die RTX 3060 komplett ausschließt und dich stattdessen zu einer 24-GB-GPU oder einem Apple-Silicon-Mac mit reichlich Unified Memory führt. Es zielt auf Chat- und Coding-Aufgaben ab, nicht auf gemütliches Ausprobieren auf dem Laptop.

Auf einer RTX 4090 läuft es mit etwa 157 Tokens pro Sekunde, was deutlich über Lesegeschwindigkeit liegt und es für interaktive Coding-Sessions angenehm macht. Auf einem M-Max bewegst du dich bei rund 64 tok/s, immer noch komfortabel, und reine CPU auf DDR5 fällt auf etwa 9 tok/s ab, brauchbar für Batch-Jobs, aber nicht für Live-Chat. Der 128K-Kontext ist echt, aber teuer: Füllst du ihn aus, steigt der Gesamtspeicher auf rund 50,7 GB, sodass du auf einer 24-GB-Karte nicht annähernd am Limit arbeiten kannst. Halte den Arbeitskontext moderat, es sei denn, du hast einen 64-GB-Mac übrig.

Gegenüber Qwen 3 32B, einem dichten Modell ähnlicher Gesamtgröße, wirkt Granite dank des MoE-Designs in der Regel genügsamer bei der Hardware, auch wenn Qwen 3 bei anspruchsvollerem Reasoning meist die Nase vorn hat, da es bei jedem Token alle Parameter aktiviert. Wenn du etwas Kleineres und Einfacheres möchtest, passt das dichte Granite 3.3 8B leichter auf bescheidene GPUs. Die herausragende Eigenschaft von Granite 4.0 H Small ist, dass es ein wirklich schnelles Modell der 32B-Klasse ist, das du tatsächlich selbst hosten kannst, und es kommt unter Apache 2.0, sodass du es ohne Lizenzsorgen frei kommerziell nutzen darfst.