Qwen3-VL 30B-A3Bは動く？

Qwen3-VL 30B-A3B は Alibaba の Mixture-of-Experts 型ビジョンモデルで、その最大の特徴は名前のとおりです。総パラメータは 30B ですが、トークンごとにアクティブになるのは 3B だけです。つまり、小型モデル並みの速度で動作しながら、メモリはモデル全体ぶんが必要になります。4-bit 量子化ではおよそ 18.2 GB で、快適に載せるには最低でも 32 GB の RAM がほしいところです。RTX 3060 のような 12 GB のカードには収まりませんが、ユニファイドメモリが潤沢な Apple Silicon マシンや 24 GB の GPU が本来の活躍の場です。ローカルで画像理解とチャット、推論をまとめてこなしたい人に向いています。

日常の利用では、アクティブ 3B という設計が効いてきます。RTX 4090 では約 471 トークン/秒に達し、Apple M Max でもおよそ 192 tok/s と軽快さを保つため、ビジョン関連の回答は瞬時に返ってくるように感じられます。DDR5 を積んだ CPU では約 28 tok/s まで落ち、使えはするものの軽快とは言えません。256K のコンテキストウィンドウはあくまでカタログ上の上限であって、タダで使えるわけではありません。これを埋めるのはコストが高く、128K コンテキストではモデルとキャッシュを合わせて合計でおよそ 48.6 GB まで膨らみます。そのため、スペック表の最大値ではなく、実際に使うコンテキスト量を基準にメモリを見積もるとよいでしょう。

ここで最も近い関連モデルである Gemma 4 31B と比べると、サイズの面では両者は似た領域にあります。ただし Gemma 4 は全パラメータがアクティブになる密(dense)な 30.7B モデルであるため、Qwen3-VL はそのフットプリントのわりに概して速く感じられる一方、Gemma は純粋な推論やコーディングではより安定する傾向があります。Qwen3-VL の際立った長所は、コンシューマ向けハードウェアでこれほど高速なモデルにビジョン機能が組み込まれている点で、ローカルではいまだに珍しい組み合わせです。ライセンスは Apache 2.0 なので、プロバイダー固有の制約なしに商用利用も本番環境での利用も可能です。Ollama では qwen3-vl:30b タグで取得して、すぐに使い始められます。