Gemma 4 26B A4Bは動く？

Gemma 4 26B A4B は Google による mixture-of-experts モデルで、その仕組みは名前に表れています。総パラメータ数は 25.2B ですが、トークンごとにルーティングされるのはそのうち 3.8B だけです。つまり小型モデル並みの速度で生成しながら、メモリは全体ぶんが必要になります。4-bit 量子化ではおよそ 15.3 GB に収まり、余裕を持ってロードするには最低でも 24 GB の RAM が欲しいところです。そのため RTX 3060 のような 12 GB のカードでは収まりきらず対象外となり、24 GB の GPU か、潤沢なユニファイドメモリを備えた Apple Silicon マシンが現実的な選択肢になります。

日常の利用では、この MoE 設計が効いてきます。RTX 4090 ではおよそ 372 tok/s で動作し、これは読む速度を上回ってストリーミングされる水準を十分に超えています。M シリーズの Max でも約 151 tok/s を出します。DDR5 での CPU のみの実行では約 22 tok/s まで落ち、バッチ処理には使えますが対話的なチャットには向きません。コンテキストウィンドウは 256K と寛大ですが、あくまで上限として捉えてください。128K のコンテキストではメモリ使用量の総量が約 43.4 GB まで膨らむため、24 GB の構成では、10.6 GB の q2 ビルドに落とさない限り、実際に使うコンテキストは控えめに保つことになります。

同程度のサイズの dense なビジョンモデルである Mistral Small 3.1 24B と比べると、Gemma 4 はスパースルーティングのおかげでトークンあたりの速度がおおむね速く感じられます。ただし、この種の dense モデルは最も難しい single-pass の推論で優位を保てることがあります。本モデルの際立った特長は、その速度と性能のバランスに加えて、本格的なビジョンとコーディングのサポートを一つのパッケージで備えている点です。ライセンスは Apache 2.0 なので、プロバイダー固有の制約なしに商用利用や本番環境での利用が可能です。これはこのサイズのモデルでは珍しく、大きな利点と言えます。ollama では gemma4:26b として取得できます。