Qwen 3.5 122B-A10Bは動く？

Qwen 3.5 122B-A10B は、フロンティア級のチャット・推論・コーディング・ビジョンを自前のハードウェアで動かしたい人向けの大規模 mixture-of-experts モデルです。このモデルの本質は MoE 設計にあります。総パラメータ 122B のうち、トークンごとに活性化するのはわずか 10B なので、同規模の dense モデルよりはるかに高速に生成します。難点はメモリで、モデル全体は常駐させておく必要があります。4-bit 量子化で約 74 GB、ロードするだけでおおよそ 96 GB の RAM が必要です。実際には大容量メモリのワークステーションか、ユニファイドメモリを大量に積んだ Apple Silicon Mac が前提となり、24 GB の RTX 4090 には収まらず、12 GB のカードでは論外です。

収まる環境では、その 10B のアクティブパラメータのおかげで、サイズの割に驚くほど軽快に感じられます。M Max では約 57 tok/s が見込め、ストリーミング表示を読むのに十分快適な速度です。一方、CPU のみの DDR5 マシンでは約 8 tok/s まで落ち、ライブチャットよりバッチ処理向きです。コンテキストウィンドウは最大 256K まで対応しますが、これは上限と捉えてください。メモリは実際に埋めた分だけ増え、128K のコンテキストでは合計フットプリントが約 131 GB まで膨らむため、ロングコンテキストの数値はそれ専用に組んだマシンを前提としています。

ほぼ同じパラメータ数の Devstral 2 123B と比べると、Qwen 3.5 はおおむね純粋なコーディング特化を捨てて幅広さを取っています。一つのモデルでチャット・推論・ビジョンをまとめてカバーし、特化はしません。この汎用性こそ際立った特徴であり、軽量なチャットを控えめなハードウェアで動かしたいだけなら、より小型の Qwen 3 0.6B や 1.7B が依然として妥当な選択です。ライセンスは Apache 2.0 なので、商用利用も本番投入も制約なく可能です。これはこの能力水準では珍しく、制約の多い重みより本モデルを選ぶ確かな理由になります。