Gemma 3 1Bは動く？

Gemma 3 1B は Google による超小型のチャットモデルで、瞬時にロードされてほぼどんな環境でも動くローカルアシスタントが欲しい、という用途のために作られています。4-bit 量子化ならわずか約 0.6 GB、8-bit ビルドでも約 1.1 GB しかないため、3 GB の RAM に余裕をもって収まります。つまり、古いノート PC や Raspberry Pi クラスのデバイス、スマートフォン相当のチップでも、ディスクリート GPU なしで動かせるということです。手軽なチャットや下書き、1 MB でも惜しいアプリへの組み込みなどに何か必要なら、まず手に取るべきモデルです。

日々の利用で目を引くのは、何といっても生のスピードです。RTX 4090 では毎秒およそ 1413 トークンを叩き出し、より一般的な RTX 3060 でも約 505 tok/s、Apple M Max でも約 575 tok/s を出します。DDR5 上の純粋な CPU でさえおよそ 84 tok/s をこなし、読むスピードより速いほどです。コンテキストウィンドウは 32K で、大きなモデルと違ってその大部分を安価に埋められます。フルの 32K でも全体で約 2.2 GB に収まるので、ここではメモリが足を引っ張ることはまずありません。

サイズについて正直に言えば、1B パラメータのこのモデルは推論やコーディング向けではなく、長い多段階の指示では話の筋を見失います。余裕があるなら、Gemma 3 4B のほうが難しいプロンプトをおおむねうまく処理し、ビジョン機能も加わります。一方、素のチャットで比較する同規模の対抗馬としては Llama 3.2 1B が真っ先に挙がります。Gemma 3 1B の際立った長所は、実用に耐えるチャットモデルとしてほぼ最小クラスである点です。ただし注意点が一つ。これは Google の Gemma ライセンスで提供され、オープンウェイトではあるもののプロバイダー固有の条項を含むため、商用展開の前に必ず内容を確認してください。