EXAONE 4.5 33Bは動く？

EXAONE 4.5 33B は LG AI Research のビジョン・推論モデルで、33B の dense パラメータを持ち、セルフホストできるモデルのなかでもヘビー級に位置づけられます。4-bit 量子化で約 20 GB になるため、RTX 3060 のような 12 GB カードにはまったく載りません。4090 のような 24 GB の GPU か、ユニファイドメモリに余裕のある Mac が必要です。無理なくロードするための最低ラインは RAM で約 32 GB です。これは気軽にノート PC で動かすモデルではなく、高性能なマルチモーダルアシスタントを求め、それを支えるハードウェアを持つ人向けのモデルです。

4090 での日常利用では 4-bit で毎秒およそ 43 トークンを生成し、チャットや画像の読み取りには快適ですが、小さな 8B モデルと比べると明らかに重いです。Apple M Max では毎秒およそ 17 トークンで、実用にはなるものの動作はより慎重になり、DDR5 を使った CPU 実行では毎秒約 3 トークンまで落ち込み、忍耐が試されます。256K のコンテキストウィンドウは広いものの、問題はメモリです。128K コンテキストでも合計フットプリントは約 51.7 GB まで膨らむため、24 GB カードでは実作業のコンテキストを控えめに抑える必要があります。

同クラスで最も近い比較対象である Qwen3-VL 32B に対して、EXAONE は圧倒するというより互角に渡り合う印象です。Qwen3-VL のほうがツール対応や量子化版の入手性が広い傾向にあり、テキスト推論だけで十分なら Qwen 3 32B が軽量な選択肢になります。EXAONE の際立った特長は、主要ラボから出た本格的に強力なビジョン+推論モデルが一つにまとまっている点です。重要な注意点はライセンスで、本モデルは非商用の EXAONE License で提供されるため、本番環境や商用製品で利用することはできません。用途は研究、プロトタイピング、個人利用にとどめてください。