Gemma 4 12Bは動く？

Gemma 4 12B は、チャット・コーディング・推論向けに設計され、画像理解にも対応した dense（密）な 12B モデルです。つまり、単体で十分に使えるローカルアシスタントが欲しく、なおかつ画像も読み取ってほしいという人に向いています。4-bit 量子化（quant）ならサイズは約 7.3 GB まで下がるため、RTX 3060 のような 12 GB の GPU にコンテキスト用の余裕を残して収まり、Apple Silicon Mac の統合メモリでも快適に動きます。モデルのロードには最低 12 GB の RAM が必要です。メモリが厳しい場合は 2-bit 版が約 5 GB まで下がりますが、その分の代償は品質で支払うことになります。

日常的な使い方では、RTX 3060 上で毎秒およそ 42 tok/s で出力され、生成をリアルタイムで読み進めるのに十分な速さです。M シリーズの Max では約 48 tok/s が得られます。RTX 4090 なら 100 を超えます。256K のコンテキストウィンドウは余裕がありますが、これはデフォルトではなくバッファ（緩衝領域）として捉えてください。128K のコンテキストでも、モデル本体に KV cache を合わせると合計でおよそ 27.4 GB まで膨らみます。これは単一の 12 GB カードをはるかに超えるため、システムメモリにあふれ出すか、大幅に遅くなるかのどちらかになります。コンシューマー向けハードウェアでは、実際の作業コンテキストを数千トークン程度に抑えておきましょう。

より軽量な Gemma 3 4B と比べると、12B は多段階の推論やコーディングで総じて優位を保ちます。追加のメモリと引き換えに得られるのがこの差です。メモリが厳しい場合や、チャットと画像理解だけで足りる場合は Gemma 3 4B を選ぶべきです。ここで本当に注目すべき点は、画像理解と堅実なテキスト推論が単一のモデルにまとまっていながら、それがミドルレンジの GPU でも動かせることです。ライセンス面もすっきりしています。Apache 2.0 であり、プロバイダー固有の制約に縛られることなく、商用かつ本番環境でモデルを利用できることを意味します。