Granite 3.3 8Bは動く？

Granite 3.3 8B は、激戦区の 8B チャット帯における IBM の一手で、実際にプロダクトに載せられる信頼性の高いローカルアシスタントを求める層を狙っています。パラメータ数は 82 億で、4-bit 量子化なら約 5 GB に収まるため、8 GB の GPU に載り、Apple Silicon Mac ならユニファイドメモリ内で動作します。最小要件が RAM 8 GB という点も、ごく一般的なハードウェアで手が届くことを意味します。さらに小さくしたい場合は 2-bit ビルドで約 3.4 GB まで落とせますが、その分だけ品質を犠牲にします。

日々の使い心地は、チャット用途では軽快かつ安定しています。RTX 3060 12 GB では 4-bit で毎秒約 62 トークン出て、読む速度より十分速く、RTX 4090 ならおよそ 172 tok/s まで伸びます。M シリーズの Max は 70 tok/s 前後、一方で DDR5 の CPU のみだと 10 tok/s 程度で、気長に回すバックグラウンド処理向けと考えるのが無難です。128K のコンテキストウィンドウは本物ですが、あくまで上限として扱ってください。フルに埋めると総メモリは約 22 GB に達するため、8 GB のカードでは実作業のコンテキストを数千トークンに抑えるのが現実的です。

競合と並べると、Granite 3.3 8B は突出した存在というより堅実な働き手です。ほぼ同サイズの Qwen 3 8B は、推論が重い処理や多段階のプロンプトでおおむね優位に立ち、本格的なコーディング性能が必要なら、はるかに大きい Granite 4.0 H Small のほうが適しています。代わりにこのモデルが提供するのはライセンスの明快さです。Apache 2.0 なので、プロバイダー固有の制約なしに商用利用や本番投入ができます。法務面で頭を悩ませずにデプロイできる、小さくて予測しやすいチャットモデルを求める企業にとって、このオープンさこそが本当の魅力です。