Qwen 3.5 35B-A3Bは動く？

Qwen 3.5 35B-A3B は、中核に巧妙な仕掛けを備えた mixture-of-experts モデルです。総パラメータ 35B のうち、各トークンでアクティブになるのはわずか 3B 程度。つまり小さなモデル並みの速度で生成しつつ、大きなモデルの知識を引き出せます。注意点はメモリです。それでもモデル全体を RAM に保持するため、アクティブな一部ではなく、フルのフットプリントで見積もってください。4-bit では 21 GB 前後に収まり、システムメモリは最低でも 32 GB は欲しいところ。12 GB の RTX 3060 には載らないので、現実的には 24 GB の GPU か、メモリを多く積んだ Apple Silicon マシンが前提になります。

いったん載ってしまえば MoE 設計が効いてきて、この階級にしては軽快に感じられます。RTX 4090 では毎秒およそ 471 トークン、Apple M Max ではおよそ 192 トークンが見込め、どちらも回答が読む速度を上回るほどの速さです。DDR5 上の CPU では毎秒およそ 28 トークンで、遅いもののバッチ処理なら実用になります。チャット、推論、コーディング、そしてビジョン（vision）を、ゆとりある 256K のコンテキストウィンドウでこなします。ただしこの上限には慎重に。128K コンテキストでは総メモリのフットプリントが約 53.8 GB まで跳ね上がるため、長いコンテキストのセッションには、重みをロードするだけで足りるレベルではなく、本当に大きなマシンが必要になります。

比較に値する同サイズの dense モデルである Command R 35B と並べると、本当の違いはパラメータ数ではなく MoE アーキテクチャにあります。名目上のサイズは同じでも、アクティブなのは 3B だけなので、Qwen はトークンあたりではるかに速く動く傾向があります。この速度と能力のバランスこそが際立った特長で、35B 相当の知識を持つモデルからほぼ即時の生成が得られ、さらにマルチモーダルなビジョン対応も付いてきます。メモリが限られていて基本的なチャットだけで足りるなら、より小さな Qwen 3 0.6B や 1.7B が適しています。ライセンスは気楽な部分で、Apache 2.0 なので、商用や本番利用も含めて自由に使え、プロバイダー固有の条項を読む必要もありません。