Llama 3.1 70Bは動く？

Llama 3.1 70B は、8B クラスのアシスタントでは力不足が続き、かつ本格的なハードウェアを投入できるときに選ぶモデルです。4-bit で約 42.8 GB を占め、最も重要なのは「どこに載らないか」です。12 GB の RTX 3060 はもちろん、24 GB の RTX 4090 ですら対象外で、重みだけで容量をあふれさせてしまいます。現実的には最低でも 64 GB のマシンが必要で、ユニファイドメモリを多く積んだ Mac Studio が、単一筐体で動かすには最も手間のかからない選択肢です。容量を切り詰めたいなら約 29.6 GB の 2-bit 量子化まで落とせますが、その代償は品質で支払うことになります。

日常的な使用感は、機敏というより落ち着いた印象です。Apple M-Max 上では 4-bit でおおよそ毎秒 8 トークン程度で、読める速さではあるものの、話す速度より遅く感じます。DDR5 の CPU では毎秒約 1 トークンまで落ち込み、バッチ処理向きで、それ以上の用途には向きません。128K のコンテキストウィンドウは本物ですが、ここでは高くつきます。これを満たすと総メモリは約 87.5 GB まで押し上げられ、64 GB の下限を大きく超えます。余裕が十分にない限り、作業用のコンテキストは控えめに保ってください。さもないとマシンがスワップを始め、ただでさえ控えめな速度が完全に崩れます。

同じファミリー内ではこれが重量級です。ノートパソコンで実際に動かせるのは Llama 3.2 3B や 1B であり、70B は速度より回答品質を優先する場面で動かすモデルです。本当の目的が段階的な推論なら、同サイズの DeepSeek R1 70B が一般にその軸では一歩先んじます。この Llama はチャット向けに調整されているからです。際立った長所は、広く成熟したツール群と、汎用用途で安定した出力です。ひとつ注意点として、Llama Community ライセンスはオープンウェイトであってオープンソースではありません。商用製品に組み込む前に、Meta の利用規約を必ず確認してください。