Gemma 4 E2Bは動く？

Gemma 4 E2B は Google の小型 mixture-of-experts モデルで、面白いのはその数字の仕組みです。総パラメータは 5.1B ですが、1トークンあたりで実際に動くのは約 2.3B だけ。つまりはるかに小さいモデル並みの速度で動きつつ、重み全体を保持するためのメモリは依然として必要になります。4-bit 量子化なら約 3.1 GB に収まり、重み一式を載せるには最低でもおよそ 6 GB の RAM がほしいところです。これならエントリークラスの 8 GB GPU や、どの Apple Silicon Mac でも余裕で動きます。さらにチャットだけでなくビジョンにも対応しているので、テキストに加えて画像も入力できます。

日常使いでは、このアクティブパラメータの仕掛けが素の生成速度に効いてきます。RTX 3060 12GB の 4-bit では毎秒およそ 219 トークンを出し、RTX 4090 では 600 を超え、M シリーズの Max は 250 前後に収まります。応答は読む速度よりずっと速く流れてきます。注意すべきは 128K のコンテキストです。これを埋め切ると合計メモリは約 16.8 GB まで跳ね上がり、短いコンテキストで足りる 6 GB を大きく超えてしまいます。小さいカードでは作業コンテキストを数千トークンに抑えておかないと、KV キャッシュがモデル本体より大きくなってしまいます。

同じファミリー内で比べると、MoE のメモリ構成を扱いたくないなら dense（密）な代替として Gemma 3 4B があり、多段階の推論では Qwen 3 4B がそこを明確に狙っている分、概して一歩リードしています。Gemma 4 E2B が際立つのは、これだけ軽量なパッケージで得られる速度と能力のバランスに加えて、ネイティブのビジョン対応がある点で、このサイズでは珍しい組み合わせです。ライセンスは Apache 2.0 なので、Google の旧来の Gemma 規約とは違い、特別に読み込むべきライセンスもなく本番環境で商用利用できます。ollama run gemma4:e2b で取得すれば、すぐに使い始められます。