Gemma 3 27Bは動く？

Gemma 3 27B は、8B クラスのアシスタントでは物足りなく感じ、なおかつメモリに余裕があるときに手を伸ばすモデルです。Google による 27.4B のチャット兼ビジョンモデルで、テキストだけでなく画像も読み取れます。同サイズのテキスト専用モデルではなくこれを選ぶ主な理由が、まさにこのマルチモーダル対応です。4-bit 量子化ではおよそ 16.6 GB になるため、RTX 3060 のような 12 GB のカードには載りません。快適に動かすには最低でも 24 GB の RAM またはユニファイドメモリが欲しいところです。24 GB の RTX 4090 や、ユニファイドメモリを潤沢に積んだ M シリーズの Mac が自然な置き場所になります。

日常的に使うと、小型モデルよりも明らかに地に足のついた対話相手に感じられ、マルチモーダルな視点のおかげでスクリーンショットや写真を説明したり、それらをもとに推論したりする用途で本当に役立ちます。4090 の 4-bit ではおよそ 52 tokens per second を見込め、読む速度より速くストリーミングされます。M Max の Mac は 21 tok/s 前後で、これも十分実用的です。一方 DDR5 の CPU のみではおよそ 3 tok/s まで落ち、実質的にはバッチ処理向けでしかありません。128K のコンテキストは本物ですが、ここではコストが高くつきます。フルに埋めると合計メモリは約 45.8 GB に達し、単体 24 GB のデバイスでは到底収まりません。余裕がない限り、作業コンテキストは控えめに保つのが賢明です。

同じファミリー内では本機が重量級で、メモリが厳しくてもビジョンは欲しいという場面では Gemma 3 4B が軽量な選択肢になります。より興味深い比較対象は Qwen 3.5 27B で、ほぼ同サイズながら専用の推論能力とコーディングの強みを備えています。構造化された数学やコードのタスクでは一般に Gemma を一歩リードするため、Gemma 3 27B は難しい推論よりも、堅実なチャットと画像理解を目的に選ぶのが適しています。本機の際立った長所は、扱いやすいシングル GPU サイズでこのビジョンとチャットのバランスを実現している点です。ひとつ注意点として、Gemma のライセンスはオープンウェイトであってオープンソースではありません。商用製品に組み込む前に Google の利用規約を必ず確認してください。