Kann ich EXAONE 4.5 33B lokal ausführen?

EXAONE 4.5 33B ist das Vision-und-Reasoning-Modell von LG AI Research, und mit 33B dichten Parametern spielt es klar in der Schwergewichtsklasse dessen, was sich selbst hosten lässt. Ein 4-Bit-Quant landet bei rund 20 GB und passt damit überhaupt nicht auf eine 12-GB-Karte wie eine RTX 3060; du brauchst eine 24-GB-GPU wie eine 4090 oder einen Mac mit reichlich Unified Memory. Das sinnvolle Minimum zum Laden liegt bei etwa 32 GB RAM. Das ist kein nebenbei laufendes Laptop-Modell. Es richtet sich an alle, die einen leistungsfähigen multimodalen Assistenten wollen und die passende Hardware dafür haben.

Im Alltag auf einer 4090 läuft es mit 4-Bit bei rund 43 Tokens pro Sekunde, was für Chat und das Lesen von Bildern komfortabel ist, aber spürbar schwerer als ein kleines 8B-Modell. Auf einem Apple M Max bewegst du dich bei etwa 17 Tokens pro Sekunde, nutzbar, aber bedächtiger, und auf der CPU mit DDR5 fällt es auf rund 3 Tokens pro Sekunde, was die Geduld strapaziert. Das 256K-Kontextfenster ist groß, doch der Haken ist der Speicher: schon bei 128K Kontext klettert der Gesamtbedarf auf etwa 51,7 GB, sodass eine 24-GB-Karte dich zwingt, den aktiven Kontext moderat zu halten.

Gegen Qwen3-VL 32B, den nächsten Vergleich in seiner Klasse, liefert EXAONE sich eher ein Kopf-an-Kopf-Rennen, als zu dominieren; Qwen3-VL bietet tendenziell breiteres Tooling und mehr Quant-Verfügbarkeit, während Qwen 3 32B die leichtere Wahl ist, wenn du nur Text-Reasoning brauchst. EXAONEs herausragende Stärke ist, ein wirklich starkes Modell aus Vision plus Reasoning in einem Paket von einem großen Lab zu sein. Der wichtige Vorbehalt ist die Lizenz: Es kommt unter der EXAONE License, die nicht-kommerziell (NC) ist, sodass du es nicht in Produktion oder in einem kommerziellen Produkt einsetzen darfst. Beschränke es auf Forschung, Prototyping und private Nutzung.