GLM-4.6V-Flashは動く？

GLM-4.6V-Flash は Z.ai が公開した 9B のビジョン+チャットモデルで、テキストを読むだけでなく画像も実際に見て理解できるローカルアシスタントが欲しい人向けです。4-bit 量子化で約 5.5 GB に収まるため、RTX 3060 のような 12 GB のカードに余裕で載り、そこそこ構成された Apple Silicon Mac のユニファイドメモリにも収まります。快適にロードするなら最低でも 12 GB 前後の RAM を見ておきたいところです。容量が厳しい場合は 2-bit ビルドが約 3.8 GB まで下がりますが、その余裕は品質との引き換えになります。

日常的な使い心地は軽快です。RTX 3060 の 4-bit では毎秒およそ 56 トークンが期待でき、これは応答が読む速度より先に流れていくのに十分な速さです。4090 があればこれが約 157 tok/s まで上がります。M シリーズの Max はおよそ 64 tok/s 前後、DDR5 上の CPU のみだと約 9 tok/s と這うような速度ですが、辛抱できるなら一応使えます。128K のコンテキストは本物ですが代償が大きく、これを埋めると総メモリが 23.2 GB 近くまで押し上げられ、12 GB のカードが扱える範囲をはるかに超えます。そのため作業コンテキストは控えめに保ち、巨大なドキュメントよりも画像タスクに寄せて使うのが得策です。

兄弟モデルとの比較では、ビジョン面で分かりやすい基準になるのが Qwen 2.5 VL 7B で、全体として健闘します。一方、画像に加えて推論も求めるなら Qwen 3.5 9B のほうがたいてい強い選択肢になります。GLM-4.6V-Flash の際立った長所は、控えめなハードウェアでも大した手間なく動く、本当にコンパクトなマルチモーダルモデルだという点です。ライセンスは MIT で、提供元による拘束的な条件なしに商用でも本番環境でも自由に使えることを意味し、多くのオープンウェイト公開と比べて実質的な優位になります。