Qwen3-Next 80B-A3Bは動く？

Qwen3-Next 80B-A3B はAlibabaのmixture-of-expertsモデルで、目を引く数字はある意味で誤解を招きますが、それが役に立ちます。総パラメータは80Bですが、トークンごとにルーティングされるのはそのうち約3Bだけです。つまり、小さなモデル並みの速度で生成しながら、大きなモデルの知識を引き出せるわけです。落とし穴はメモリです。結局モデル全体をRAMまたはVRAMに保持する必要があるため、4-bit量子化で約48.5 GBでも、動かすには最低64 GBが必要です。これでは単体のコンシューマー向けGPUでは無理で、大容量メモリのマシンが前提になります。

実際のところ、これはApple Siliconかワークステーション向けのモデルであって、ゲーミングGPU向けではありません。十分なunified memoryを積んだM Maxでは、おおよそ192 tok/sでストリーミングします。80Bクラスのモデルとしては本当に速く、人々がこのモデルを選ぶ主な理由です。12 GBのRTX 3060や24 GBのRTX 4090ではそもそもロードできません。DDR5搭載のCPUで動かす場合でも約28 tok/sは出せます。遅くはなりますが、バッチ処理なら実用的です。256Kのコンテキストは実在しますが、消費は激しく、128Kに近づけると合計メモリは約95.8 GBに達することもあるので、使い切る前に余裕を見込んでおきましょう。

わかりやすい比較対象であるdenseモデルのLlama 3.1 70Bと比べると、Qwen3-Nextはサイズの割に明らかに速く感じられます。各ステップでアクティブなのは3Bパラメータだけで、一方Llamaは70Bすべてを動かす必要があるからです。チャットや推論の品質は競争力がありますが、最も難しいマルチステップのプロンプトではdenseな70Bモデルがまだ優位を保つことがあります。際立った特徴はこの速度対サイズ比です。メモリさえ用意できれば、大型モデルの幅広さを小型モデルのレイテンシで得られます。ライセンスはApache 2.0なので、プロバイダー固有の制約なしに商用でも本番環境でも自由に利用できます。