Llama 3.1 8Bは動く？

Llama 3.1 8B は、多くの人が「ローカルでLLMを動かしたい」と言うときに実際に思い浮かべているモデルです。4-bit 量子化なら約 4.9 GB に収まり、8 GB の GPU にも余裕で載りますし、M1 以降の Apple Silicon Mac ならユニファイドメモリの範囲に十分おさまります。さらに、根気さえあれば CPU でも動きます。この「小さなフットプリント」と「実用に足る出力」の組み合わせこそが、セルフホスティングの定番スタート地点になった理由です。

日常的な用途では、チャット、要約、軽いコーディング支援において高速で一貫性のある応答が得られます。最近のミドルレンジ GPU なら、4-bit で 40 tok/s を優に超える速度が期待でき、返答が読む速度より速くストリームされるほどです。128K のコンテキストウィンドウは本物ですが、巡航高度ではなく上限として捉えてください。実際に埋めていくと KV キャッシュのメモリ消費が急増するため、8 GB のカードでは、より小さい量子化に落とさない限り、作業コンテキストを数千トークン程度に抑えておくのが無難です。

モデルサイズの限界が表れるのは、より難しい多段階のプロンプトにおける推論や指示追従です。Qwen 3 8B のような新しい 7-8B モデルは、数学や構造化タスクでこれをわずかに上回る傾向があり、メモリに余裕がない場合は Gemma 3 4B がより軽量な選択肢になります。Llama 3.1 8B の強みは成熟度です。ツールサポートが最も広く、Hugging Face や Ollama 上の量子化ビルドが最も豊富で、予期せぬトラブルが最も少ない。ローカルアシスタントとして「とりあえず確実に動く」1 つのモデルが欲しいなら、これは今なお安全な既定の選択肢です。