Kann ich Granite 3.3 8B lokal ausführen?

Granite 3.3 8B ist IBMs Beitrag zur dicht besetzten 8B-Chat-Klasse und richtet sich gezielt an alle, die einen verlässlichen lokalen Assistenten suchen, den sie auch produktiv einsetzen können. Mit 8,2 Milliarden Parametern landet das Modell bei einer 4-Bit-Quantisierung bei rund 5 GB, passt also auf eine 8-GB-GPU und läuft im Unified Memory jedes Apple-Silicon-Macs. Die Mindestanforderung von 8 GB RAM bedeutet, dass es schon mit recht gewöhnlicher Hardware erreichbar ist. Wenn es noch kleiner sein muss, schrumpft der 2-Bit-Build auf etwa 3,4 GB - allerdings auf Kosten der Qualität.

Im Alltag wirkt das Modell beim Chatten schnell und gleichmäßig. Auf einer RTX 3060 12 GB siehst du bei 4-Bit rund 62 tok/s, also bequem schneller als du lesen kannst, und eine RTX 4090 treibt das auf etwa 172 tok/s. Ein M-Max-Chip liegt bei rund 70 tok/s, während reiner CPU-Betrieb auf DDR5 eher bei 10 tok/s landet und sich am besten für geduldige Hintergrundarbeit eignet. Das 128K-Kontextfenster ist echt, aber behandle es als Obergrenze: Es voll auszunutzen treibt den Gesamtspeicher auf etwa 22 GB, halte den effektiven Kontext auf einer 8-GB-Karte also bei wenigen tausend Tokens.

Im Vergleich zur Konkurrenz ist Granite 3.3 8B eher das solide Arbeitspferd als der Überflieger. Qwen 3 8B, nahezu gleich groß, hat bei reasoning-lastigen und mehrstufigen Prompts in der Regel die Nase vorn, und wenn du echte Coding-Power brauchst, ist das deutlich größere Granite 4.0 H Small die bessere Wahl. Was dieses Modell stattdessen bietet, ist Lizenzklarheit: Es steht unter Apache 2.0, du kannst es also kommerziell und produktiv einsetzen, ohne anbieterspezifische Auflagen. Für ein Unternehmen, das ein kleines, berechenbares Chat-Modell ohne rechtliches Zögern ausrollen will, ist genau diese Offenheit der eigentliche Reiz.