Granite 4.0 H Smallは動く？

Granite 4.0 H Small は IBM の Mixture-of-Experts モデルで、パラメータ数は名目上 32B ですが、1トークンあたりで実際にアクティブになるのは約 9B にすぎません。この差がすべてを物語っています。各トークンが重みの一部にしか触れないためサイズの割に高速ですが、それでもモデル全体をメモリに保持する必要があるので、アクティブ数ではなく最低 32 GB を前提に計画してください。4-bit 量子化では約 19.4 GB となり、RTX 3060 のような 12 GB カードは完全に対象外で、24 GB の GPU か、ユニファイドメモリに余裕のある Apple Silicon Mac が必要になります。ノート PC で気軽に試すというより、チャットやコーディング用途を想定したモデルです。

RTX 4090 ではおよそ 157 tok/s で動き、これは読む速度をはるかに上回るため、対話的なコーディングセッションでも快適です。M シリーズの Max では約 64 tok/s で、これも十分実用的です。DDR5 上の純粋な CPU 実行では約 9 tok/s まで落ち、バッチ処理には使えますがライブチャットには向きません。128K コンテキストは見せかけではなく本物ですが、コストが高くつきます。これを埋め切ると合計メモリは約 50.7 GB まで膨らむため、24 GB のカードでは実際には上限近くで動かすことはできません。64 GB の Mac でも確保できない限り、作業時のコンテキストは控えめに保ってください。

同程度の総サイズを持つ密モデルである Qwen 3 32B と比べると、Granite は MoE 設計のおかげで概してハードウェアへの負荷が軽く感じられます。ただし Qwen 3 は毎トークンで全パラメータを使うため、より重い推論では優位に立つ傾向があります。もっと小さくシンプルなものが欲しければ、密モデルの Granite 3.3 8B のほうが控えめな GPU には収まりやすい選択肢です。Granite 4.0 H Small の際立った長所は、実際に自前でホストできる本当に高速な 32B クラスのモデルである点で、Apache 2.0 のもとで提供されるため、ライセンスを気にせず商用利用が可能です。