Qwen3 Coder Next 80B-A3Bは動く？

Qwen3 Coder Next 80B-A3B はコーディング特化モデルで、Mixture-of-Experts として設計されており、このアーキテクチャがすべてを物語っています。総パラメータは 80B ですが、1トークンあたり 3B しか活性化しないため、サイズから想像するよりはるかに高速に動作します。ただしメモリはモデル全体ぶんが必要です。4-bit ではおよそ 48.5 GB に収まり、これだけであらゆるコンシューマー向け GPU が候補から外れます。24 GB の RTX 4090 にも載らず、12 GB の 3060 では言うまでもありません。現実的な動作環境は、ユニファイドメモリを潤沢に積んだ Apple Silicon の Mac か、64 GB 以上のシステム RAM を備えたワークステーションです。活性化される 3B ではなく、最低 64 GB という数字を基準に計画してください。

日常的な利用では、MoE 設計の恩恵がはっきり出ます。Apple M Max ではおよそ 192 トークン/秒でストリーミングされ、コード補完やリファクタリングでは体感的にほぼ瞬時です。DDR5 上の純粋な CPU 推論でもおよそ 28 トークン/秒は出るため、この規模のモデルとしては遅いものの実用に足ります。256K のコンテキストウィンドウはリポジトリ全体をまたいで作業するための目玉機能ですが、落とし穴はメモリです。128K コンテキストでは合計フットプリントがおよそ 95.8 GB まで膨らみます。巨大なコードベースを読み込む前にこの点を念頭に置いてください。64 GB のマシンで上限を超えさせるのは、ウェイトではなく KV キャッシュだからです。

同じ重量級の密（dense）モデル、たとえば Llama 3.1 70B と比べると、本モデルはおおむね生の汎用性をコーディングへの集中と速度に振り替えています。MoE のルーティングにより、70B の dense モデルより速く応答し、一般的なチャットよりもコードに特化しています。汎用チャット用途では、より小型の Qwen 3 チャット系のほうが適しています。際立った特長は、その速度対サイズ比であり、80B クラスのモデルからほぼ瞬時の生成が得られる点です。そして実用上のおまけがライセンスです。Apache 2.0 なので、最初に目を通すべきプロバイダー固有の制限もなく、商用・本番環境で自由に利用できます。