Llama 3.2 3Bは動く？

Llama 3.2 3B は、動かしていることにほとんど気づかないようなハードウェアで本格的なアシスタントが欲しいときに選ぶモデルです。4-bit 量子化なら約 1.9 GB に収まり、必要な RAM もおよそ 4 GB だけ。つまり、エントリークラスのノート PC、十分なメモリを積んだ Raspberry クラスのボード、古い 6 GB の GPU、あるいは余裕のある Apple Silicon Mac など、事実上どこにでも載ります。8B ファミリーが手元のマシンには重いと感じるなら、これがチャットを実用的なまま保てる一段下の選択肢です。

日常的に使ってまず際立つのは速度です。RTX 3060 ではおよそ 158 tok/s が見込め、4090 ならそれを約 442 tok/s まで引き上げます。これは読むスピードよりはるかに速い水準です。GPU がまったくない場合でも、DDR5 の CPU なら約 26 tok/s 程度はこなせます。128K のコンテキストウィンドウが仕様として挙げられていますが、メモリについては現実的に考えてください。これをいっぱいまで埋めると合計使用量はおよそ 13 GB まで跳ね上がり、モデル本体の待機時のフットプリントを大きく超えます。小さなマシンでは作業コンテキストを数千トークンに抑えておきましょう。

同じファミリーの中で見ると、Llama 3.2 3B はサイズと引き換えに深さを手放しています。より難しい推論や複数ステップの指示は、一般に Llama 3.1 8B のほうがうまくこなします。一方、1B の兄弟モデルは、本当にメモリに余裕がなく、応答の質が落ちても許容できる場合に限って選ぶものです。3B の本当の持ち味は、おもちゃではなく有能なチャット相手だと感じられる最小の Llama だという点にあります。ひとつ注意点として、これは Llama Community ライセンスで提供されており、これは open-weight ではあるものの Meta 独自の条項を伴うため、いわゆる純粋な open-source ではありません。これを土台に製品を作る前に、その条項を確認してください。