Qwen3-VL 8Bは動く？

Qwen3-VL 8B は Alibaba が手がける 8B クラスのビジョン対応モデルで、テキストを読むだけでなく画像やスクリーンショットを実際に「見られる」ローカルアシスタントが欲しいときに第一の選択肢になります。4-bit 量子化ならおよそ 4.9 GB に収まるため、RTX 3060 のような 12 GB のカードに余裕をもって載りますし、Apple Silicon Mac ならどの機種でもユニファイドメモリに無理なく収まります。実用上の最小フットプリントは 8 GB の RAM ほどで、容量が厳しければ約 3.4 GB の 2-bit ビルドまで落とせます。ただし重めの q8 は 8.5 GB 近くになります。

日常利用では 8B モデルとしては軽快に感じられます。RTX 3060 では 4-bit でおよそ 63 トークン/秒、M シリーズ Max ならおよそ 72 まで伸び、いずれも読む速度より速く返答がストリーミングされます。4090 では約 177 と一気に駆け抜けます。目を引く数字は 256K のコンテキストウィンドウですが、これはデフォルトではなく上限として捉えてください。128K コンテキストでは、モデルと KV キャッシュだけで合計およそ 21.7 GB を要し、ミドルレンジ1枚のカードが扱える範囲を大きく超えます。大型 GPU がない限り、実際に使うコンテキストは控えめに保つのが無難です。

同サイズで比較対象になりやすい Llama 3.1 8B と並べると、Qwen3-VL の際立った強みは Llama にはそもそもできないこと、すなわち画像を読める点です。プレーンなテキストチャットなら両者は十分に近く、選択はビジョン機能が必要かどうかに帰着します。テキストしか入力しないのであれば、ツール周りのエコシステムは依然として Llama のほうが厚いです。一方、スクリーンショットを説明させたり、写真から文字をローカルで抜き出したいのであれば、こちらが優れた選択です。ライセンスは Apache 2.0 で提供されるため、商用利用も本番投入もライセンス上の心配なく行えます。