Gemma 4 E4Bは動く？

Gemma 4 E4B は Google による小規模な Mixture-of-Experts モデルで、画像も読めるローカルアシスタントが欲しい場合に適しています。MoE のポイントは、8B あるパラメータのうち 1 トークンあたり約 4.5B しか発火しないことです。そのため、はるかに小さいモデル並みの速度で動きながらも、モデル全体をメモリに収めるだけの容量は必要になります。4-bit ではおよそ 4.9 GB に収まり、RTX 3060 のような 12 GB カードに余裕をもって載りますし、8 GB の Apple Silicon Mac のユニファイドメモリにも問題なく収まります。アクティブな部分だけでなく、モデル全体を前提に容量を見積もってください。

日常的に使うと、その速さを実感できます。RTX 3060 では 4-bit でおよそ 112 トークン/秒が見込め、RTX 4090 のようなハイエンドカードなら 300 を超え、読む速度を完全に上回ります。Apple Silicon では M-Max が 128 tok/s 近くに達し、DDR5 上の CPU でも、根気よく待てば概ね 19 tok/s は出ます。128K のコンテキストウィンドウは本物ですが代償が大きく、これを埋めると合計メモリは約 21.7 GB まで増え、重みだけから想像する値を大きく上回ります。小型のハードウェアでは作業コンテキストを数千トークンに抑えておけば、快適に使えます。

同じファミリーの軽量モデルである Gemma 3 4B と比べると、E4B は同程度の小さいアクティブフットプリントを保ちつつ、より高い出力品質を出す傾向があります。どちらも画像入力に対応しているため、本当にメモリが逼迫しているのでなければ、こちらを既定の選択肢にするのが無難です。際立つ特長は、その MoE による速度と品質のバランスで、チャットと画像理解を小型モデル並みのレイテンシで実現します。そしてライセンスは最も気楽な点です。Apache 2.0 なので、商用利用や本番環境を含めて自由に使え、プロバイダー固有の制約は付きません。これにより、実際に何かを世に出すうえで最も扱いやすいローカルモデルの一つになっています。