Qwen 2.5 VL 7Bは動く？

Qwen 2.5 VL 7B はAlibabaのビジョン言語モデルで、まさにこの「ビジョン」が肝心です。チャットに加えて画像・スクリーンショット・グラフ・ドキュメントを読み取れるため、プロンプトにテキストだけでなく画像が含まれる場面で真っ先に選ぶ一台です。8.3Bパラメータと小型で、4-bit量子化なら約5 GBに収まり、8 GBのGPUに載りますし、Apple Siliconの各Macならユニファイドメモリに余裕で収まります。最小8 GBというRAMの数字は重みを置くには現実的ですが、ビジョン処理や長いコンテキストでは実際にはもっと必要になります。

日常利用では、このクラスとしては軽快に感じられます。RTX 3060 12GBなら4-bitで概ね61トークン/秒、RTX 4090では約170 tok/sまで伸び、応答が読む速度を追い越してストリームするほど速いです。M系のMaxは69 tok/s前後、DDR5上のCPUのみでは約10まで落ち込みます。128Kのコンテキストは本物ですが、これは上限であって巡航高度ではありません。埋め尽くすと合計メモリは約22 GBに達し、8 GBのカードを大きく超えてしまうため、余裕がない限り実際に使うコンテキストは控えめに保ってください。

プレーンテキストのチャットだけなら、同程度のサイズで専用のテキストモデルであるGranite 3.3 8Bのほうがすっきりした選択になりがちです。そちらはその用途向けに作られており、ビジョンのオーバーヘッドがないためです。Qwen 2.5 VL 7Bの際立った特長は、まさにそのオーバーヘッドが報われる点にあります。セルフホストできるほど小さいモデルでネイティブに画像を理解でき、これは小型のQwen 3 0.6Bや1.7Bには到底できません。ライセンスはApache 2.0で、商用利用や本番投入もライセンス面の心配なく行えます。これは有能なマルチモーダルの重みとしては珍しいことです。