Gemma 3 4Bは動く？

Gemma 3 4B は、画像も理解できる有能なローカルアシスタントを求める人に向けた Google の小型主力モデルです。4.3B パラメータながら 4B クラスの想定を超える実力を持ち、フットプリントは非常に小さく抑えられています。4-bit 量子化なら約 2.6 GB、動作に必要な RAM はおよそ 6 GB 程度です。つまり、古い 8 GB のノート PC 向け GPU、エントリークラスの Apple Silicon Mac、さらには 12 GB の RTX 3060 でも余裕を持って動く、ほぼあらゆる環境に収まります。重いマシンなしでビジョンとチャットを両立させたいなら、ここが分かりやすい出発点になります。

日常的に使うと、その速さを実感できます。RTX 3060 では 4-bit で約 117 tok/s、RTX 4090 ではおよそ 329 tok/s まで伸びるため、どちらでも読む速度より速く応答がストリーミングされます。Apple M Max では約 134 tok/s、DDR5 搭載の純粋な CPU 実行でも約 20 tok/s 出るので、短いプロンプトなら実用的です。128K のコンテキストウィンドウは実在しますが、コストは高めです。完全に埋めると合計メモリは約 15.3 GB まで増えるため、小型 GPU では実作業のコンテキストを数千トークンに抑えるか、より小さい量子化に切り替えてください。

Qwen 3 4B との比較では、トレードオフは明快です。推論や構造化されたマルチステップのタスクでは概して Qwen 3 に分があり、一方で Gemma 3 4B の強みはビジョンにあります。これほど小さいモデルで本当に画像を読めるものは少なく、その点だけでも、控えめなハードウェアでローカルなマルチモーダルモデルが必要なときの有力な選択肢になります。手狭になってきたら、同じファミリーの Gemma 3 12B が自然なステップアップ先です。ひとつ注意点として、Gemma のライセンスはオープンソースではなくオープンウェイトで、Google 独自の利用規約が伴います。製品に組み込む前に必ず内容を確認してください。