Qwen 3.6 35B-A3Bは動く？

Qwen 3.6 35B-A3B は mixture-of-experts（MoE）モデルであり、この性質がこのモデルの用途をすべて物語っています。総パラメータ数は 35B ですが、トークンごとに有効化されるのは 3B だけなので、小型モデル並みの速度で動作しながら、メモリは大型モデル並みに必要とします。4-bit 量子化では重みがおよそ 21.2 GB に収まりますが、全エキスパートを保持するには最低でも約 32 GB の RAM が必要です。そのため RTX 3060 のような 12 GB のカードでは収まらず、適しません。本来の活躍の場は 24 GB の RTX 4090 か、ユニファイドメモリを潤沢に積んだ Apple Silicon の Mac です。

日常利用では有効パラメータ 3B の効果がはっきり表れます。4090 ではおよそ 471 トークン/秒、M シリーズの Max ではおよそ 192 が見込め、これはサイズが 3 分の 1 程度のほとんどの密（dense）モデルより高速です。DDR5 での CPU 推論でも約 28 トークン/秒は出るため、バッチ処理には十分使えます。チャット、推論、コーディング、ビジョンに対応しており、何でもこなせるローカルモデルとして 1 つで役目を果たします。256K のコンテキストウィンドウは余裕がありますが、注意点はメモリです。128K を埋めるだけで総使用量が約 53.8 GB まで膨らむため、長コンテキストの作業には 24 GB のカードではなく 64 GB のマシンが欲しくなります。

同系統の密モデルである Command R 35B と比べると、この MoE は同じ公称サイズでも概して大幅に高速に感じられます。メモリは 35B 分を支払いつつ、計算は 3B 相当で済むからです。トレードオフは MoE につきものの典型例です。最も難しい単発（single-shot）の推論では、密な 35B が時に優位に立つこともありますが、大半の作業では速度が勝ります。際立った特長は、この速度対能力比に加えて、ネイティブのビジョンを 1 つのパッケージに備えている点です。ライセンスは Apache 2.0 なので、プロバイダー側の制約なしに商用利用も本番環境での利用も自由に行えます。