Llama 3.3 70Bは動く？

Llama 3.3 70B は、8B モデルでは賢さが足りず、しかもそれを動かすハードウェアが手元にあるときに選ぶモデルです。70.6 億ではなく 706 億（70.6 billion）パラメータの密な（dense）チャットモデルで、そのサイズはフットプリントにも表れます。4-bit 量子化でも約 42.8 GB に達し、余裕を持って読み込むにはシステムメモリが最低でも 64 GB は欲しいところです。2-bit 量子化まで落とせば約 29.6 GB まで縮みますが、現実的な置き場所は単体のコンシューマー向けカードではなく、メモリを多く積んだ Apple Silicon マシンかマルチ GPU 構成になります。

日常的に使ううえで正直に断っておくべき弱点は速度です。M シリーズの Max では 4-bit でおよそ 8 トークン/秒（8 tok/s）で、読める速度ではあるものの、長い回答のたびに遅さを実感する程度には遅いです。DDR5 を積んだ CPU 環境では約 1 トークン/秒（1 tok/s）まで落ち、這うような速度になります。128K のコンテキストウィンドウは確かに大きいのですが、これを埋めるのはコストが高く、フルの 128K ではメモリのフットプリント合計が約 87.5 GB まで膨らみ、重みだけで必要な 42.8 GB を大きく超えます。メモリに余裕がない限り、実際に使うコンテキストは控えめに保つのが賢明です。

注意点として、表に挙げた RTX 3060 と RTX 4090 では、このモデルを 4-bit で載せきれません。つまり単体の主流 GPU は対象外です。同じパラメータ数を持つ DeepSeek R1 70B と比べると、R1 は推論特化型で、難しい多段階の数学では総じて優位に立ちます。一方 Llama 3.3 70B は、より安定して幅広い環境で動く汎用チャットモデルです。際立った特長は、オープンウェイトでありながらフラッグシップに迫る対話品質を実現している点です。ただし一点注意があります。Llama Community ライセンスはオープンウェイトであって真のオープンソースではないため、商用デプロイの前に必ず Meta の規約を確認してください。