Llama 4 Scoutは動く？

Llama 4 Scout は Meta の mixture-of-experts モデルで、理解すべき最大のポイントは「2つのサイズ」の差です。総パラメータは 109B ありますが、トークンごとにルーティングされるのはそのうち 17B だけなので、生成速度は 17B モデル並みに速い一方、メモリは 109B 全体ぶんを要求します。4-bit 量子化ではディスク上で約 66 GB になり、ロードには最低でも 96 GB の RAM またはユニファイドメモリが必要です。これは 24 GB クラスのコンシューマ GPU で動くモデルではありません。RTX 3060 はもちろん RTX 4090 ですら、まったく収まりません。現実的にはワークステーション、もしくはメモリを上限まで積んだ Apple Silicon マシン向けです。

十分なユニファイドメモリを積んだ Apple M Max では、4-bit でおおよそ 34 tok/s で動作します。これは読む速度より余裕で速く、対話チャットやビジョンタスクにも十分な水準です。DDR5 の CPU 実行では約 5 tok/s まで落ち、バッチ処理には使えても、往復のやり取りにはつらい速度です。公称のコンテキスト長は非常に大きいものの、注意が必要です。128K トークンに近づけると総メモリは約 120 GB まで膨らむため、ロングコンテキストは無料の設定ではなく、ハードウェア予算の判断になります。余裕がない限り、実作業のコンテキストは控えめに保ってください。

このクラスのもう一方の大型モデルである GPT-OSS 120B と比べると、Scout はビジョンを扱えるためマルチモーダル用途での選択肢になります。一方、純粋な推論では GPT-OSS が概ね優勢です。Llama 3.2 3B のような小型の兄弟分と比べると、Scout はまったく次元の違うコミットメントです。あちらはスマートフォン級のフットプリントで動きますが、こちらはサーバーを必要とします。際立った長所は、このスケールで本当に高速かつ画像対応であることです。1つだけ注意点があります。提供ライセンスは Llama Community で、これはオープンソースではなくオープンウェイトです。商用で何かを構築する前に、必ず利用条件を確認してください。