QwQ 32Bは動く？

QwQ 32B はAlibabaが開発した推論特化モデルであり、汎用チャットモデルではありません。ダウンロードする前に、まずこの位置づけを理解しておくことが重要です。32.8B パラメータの密（dense）モデルで、答えを出す前に長い思考の連鎖を通じて段階的に「声に出して考える」のが特徴です。そのため数学や多段階の問題には強い反面、簡単な質問には遅く、冗長になりがちです。4-bit 量子化では約 19.9 GB となるため、12 GB の RTX 3060 では単体で載せきれません。実用的に動かすには 32 GB のシステムメモリまたはユニファイドメモリが必要で、一般的なゲーミングカードというより、ワークステーション、24 GB GPU、あるいは上位クラスの Apple Silicon の領域に入ります。

日常の使用感は、軽快というよりじっくり考えながら進む印象です。RTX 4090 では 4-bit でおおよそ毎秒 43 tok/s が見込めますが、これだけ聞くと十分に思えても、このモデルは答えに到達する前に大半のトークンを推論に費やすため、難しいプロンプト1つでもかなり時間がかかることを忘れないでください。Apple M Max では約 18 tok/s に下がり、DDR5 の CPU では毎秒 3 tok/s 付近まで落ち込みます。128K のコンテキストは本物ですが、限界まで使うと合計メモリは約 51.6 GB に達し、32 GB の下限を大きく超えてしまいます。余裕がない限り、実際に扱うコンテキストは控えめに保つのが無難です。

ここで比較対象となるもう一つの密な 32B 推論モデル DeepSeek R1 32B とは、メモリ使用量も用途も近く、どちらが優れているかは明確な総合的優劣ではなく具体的なタスク次第になりがちなので、両方を試す価値があります。手元に数 GB しかない場合は、小型の Qwen 3 0.6B や 1.7B のチャットモデルがまったく別の選択肢となり、手早い応答には向いていますが、QwQ が想定する深い推論には向きません。QwQ の際立った長所は、自分でセルフホストできるサイズで最先端レベルの段階的な推論を提供できる点であり、さらに Apache 2.0 ライセンスのためライセンス上の制約なく商用利用も無料で行えます。