Qwen3-VL 32Bは動く？

Qwen3-VL 32B は、テキストを読むだけでなく実際に画像を「見られる」ローカルアシスタントが欲しい人に向けた、Alibaba のビジョン＆推論モデルです。33B の dense パラメータを持つため、よくある 7-8B の入門モデルよりかなり重い負荷になります。4-bit 量子化で約 20 GB に収まり、モデル全体を余裕を持って保持するには最低 32 GB のシステム RAM が必要です。そのため RTX 3060 のような 12 GB のカードでは単純に載りきらず、対象外になります。現実的には 24 GB の GPU か、十分なスペックの Apple Silicon マシン向けであり、気軽なノート PC 向けの選択肢ではありません。

日常的に使うと、機敏というよりは着実で慎重な印象です。RTX 4090 上の 4-bit なら毎秒およそ 43 トークンが期待でき、快適なチャットや画像に関する質問には十分な速さです。M-Max の Mac では毎秒 17 トークンに近く、使えはしますが長時間のセッションには望ましいほど速くありません。CPU のみだとおよそ 3 tok/s で、最後の手段といった水準です。256K のコンテキストウィンドウは寛大ですが、それに伴ってメモリも急速に膨らみます。128K でも合計フットプリントは約 51.7 GB まで上がるため、余裕がない限り作業コンテキストは控えめに保つ前提で計画してください。

同じサイズで同様にビジョンと推論を扱う明白なライバルである EXAONE 4.5 33B と比べると、両者は一長一短で、最終的な選択はツール対応と、すでにどのエコシステムを信頼しているかに帰着します。Qwen3-VL の強みは、qwen3-vl:32b で手軽に Ollama pull できる、成熟した広くサポートされたファミリーである点です。最大の特長は、1 基の GPU でまだ自前ホスティングできるサイズでありながら、本当に強力なマルチモーダル推論を提供することです。そしてライセンス面は簡単な部分で、Apache 2.0 であるため、商用や本番環境での利用を含めて自由に使え、プロバイダー固有の制約は一切付きません。