Gemma 3 12Bは動く？

Gemma 3 12B は Google のミッドサイズなオープンウェイトモデルで、よくある 7〜8B のチャットモデルより高い性能が欲しいものの、ワークステーションが必要なクラスにはまだ手を出したくない人にちょうどよい位置にあります。4-bit 量子化ではおよそ 7.4 GB で、RTX 3060 のような 12 GB のカードに少し余裕を持って収まり、16 GB 以上の Apple Silicon Mac ならユニファイドメモリ上で快適に動きます。ロードに必要な最低ラインは 12 GB の RAM です。さらに画像も扱えるため、テキストと一緒に画像を入力でき、このサイズのモデルではほとんどできないことです。

日常的な利用では、コンシューマー向けハードウェアでも軽快に感じられます。RTX 3060 12GB では 4-bit でおよそ 41 トークン/秒が出て、読むより速いペースです。Apple M Max ならおよそ 47 tok/s まで上がります。手元に 4090 があれば約 116 tok/s と一気に速くなります。注意点は 128K のコンテキストウィンドウです。確かに本当に用意されていますが、それを埋めるのは高くつきます。フル 128K ではモデルと KV キャッシュで合計約 27.7 GB を要し、12 GB のカードが扱える範囲を大きく超えます。24 GB の GPU や潤沢なユニファイドメモリがない限り、実際に使うコンテキストは控えめに保つのが無難です。

同サイズの明確な対抗馬である Mistral Nemo 12B と比べると、Nemo がテキスト専用であるぶん、Gemma 3 12B は指示追従とマルチモーダルな作業で総じて優位です。一方で純粋なロングコンテキストのチャットでは Nemo のほうが軽い選択肢になりがちです。もっと小さく抑えたいなら、Gemma 3 4B がフットプリントを下げつつ画像処理を残します。Gemma 3 12B の強みは、ミッドレンジの単一 GPU でも動く実用的なビジョン兼チャットモデルである点です。ひとつ注意があります。本モデルは Google の Gemma ライセンスで提供され、オープンウェイトではあるものの提供元固有の条項を含みます。単なるオープンソースだと決めつけず、商用展開の前に必ず内容を確認してください。