Qwen 2.5 Coder 32Bは動く？

Qwen 2.5 Coder 32B は Alibaba がコーディング専用に開発したモデルで、実際のプログラミング作業でホスト型ツールと真っ向から張り合えるローカルアシスタントが欲しいときにまず選ばれる一台です。32.8B パラメータという規模は気軽にダウンロードできるものではなく、4-bit 量子化でおよそ 19.9 GB、ロードには最低でも 32 GB の RAM が必要です。これにより 12 GB の RTX 3060 は完全に対象外となり、そもそも収まりません。現実的な実行環境は 24 GB のカードか、ユニファイドメモリを潤沢に積んだ Apple Silicon の Mac になります。

日常的に使うと、軽快というよりは落ち着いた応答で、ハードウェアの差がはっきり表れます。RTX 4090 の 4-bit ならおよそ 43 tok/s が見込め、読んでいる間にコードが快適に流れてくる速さです。M シリーズの Max では 18 tok/s 前後にとどまり、使えはするものの目に見えて辛抱が要るペースで、約 3 tok/s の DDR5 CPU フォールバックは正直なところ夜間に回すバッチ処理専用といったところです。128K のコンテキストはファイル全体を丸ごと読み込ませるのに実際とても役立ちますが、タダではありません。ウィンドウを限界まで使うと総メモリは 51.6 GB へと膨らむため、余裕がない限り作業用コンテキストは控えめに保ってください。

同じ 32.8B サイズの DeepSeek R1 32B と比べると、違いは主に狙いにあります。R1 は思考過程を声に出すような推論モデルである一方、Qwen 2.5 Coder は素直なコード生成や補完において概してより直接的で要点を押さえた感触です。際立った長所はまさにそのコーディング特化が、1 枚の優れた GPU で自前ホストできるサイズで実現されている点にあります。そしてライセンス面は気楽です。Apache 2.0 なので、商用利用や本番環境を含めて自由に使え、プロバイダー固有の制約は一切付きません。