Llama 3.2 1Bは動く？

Llama 3.2 1B は、ほぼどんな環境でも動くローカルモデルが欲しいときに真っ先に手が伸びる選択肢です。パラメータは 1.2B と極小で、4-bit 量子化なら約 0.7 GB に収まります。つまりスマートフォン級のデバイスのメモリにも載り、タブレットやローエンドのノート PC でも余裕で動き、快適に動かすのに必要な RAM はわずか 3 GB 程度です。オンデバイスのチャットや簡単な下書き、組み込みアシスタントなど、1 ギガバイトも惜しく、GPU の存在を前提にできない場面にうってつけのモデルです。

日常的に使ううえで目を引くのは、なんといっても生の速さです。RTX 3060 ではおよそ 421 tok/s が出ますし、DDR5 上の CPU だけでも約 70 tok/s を保ち、短い応答なら即座に返ってくる感覚があります。注意したいのは 128K のコンテキストウィンドウです。スペック上は確かに用意されていますが、実際に埋めると合計メモリが 7.8 GB へと膨らみ、これだけ軽量なモデルを選んだ意味そのものが消えてしまいます。作業に使うコンテキストは数千トークンに抑えておけば、求めていたフェザー級の軽さを保てます。

限界については正直に言いましょう。このサイズなら、短く範囲のはっきりしたチャットは問題なくこなしますが、複数ステップの推論や長めの指示、そしてコードに類するものになると話の筋を見失います。余裕があるなら、複雑なプロンプトには Llama 3.2 3B のほうが概してうまく追従しますし、同じ重量級なら Gemma 3 1B が自然な比較対象になります。1B の際立った長所はとにかく到達範囲の広さで、より大きなモデルがそもそも動かない場所でも動きます。ライセンス面で一点注意があります。本モデルは Llama Community ライセンスで提供されており、オープンウェイトではあるものの Meta 独自の条項を伴うため、製品に組み込む前にその条項を確認してください。