Qwen 3 32Bは動く？

Qwen 3 32B は、8B クラスのモデルが難しい部分でつまずき続け、なおかつメモリに余裕があるときに手を伸ばすモデルです。チャットと推論向けに作られた密な 32.8B パラメータのモデルで、4-bit 量子化では約 19.9 GB になります。このサイズだと RTX 3060 のような 12 GB のカードには収まらず、システム RAM も最低 32 GB を要求します。現実的な置き場所は、RTX 4090 のような 24 GB の GPU か、ユニファイドメモリをたっぷり積んだ Apple Silicon Mac です。どこへでも持ち歩けるノート PC 向けのモデルではなく、ワークステーション向けのモデルだと考えてください。

日常的に使うと、キビキビというよりは落ち着いた挙動に感じられます。RTX 4090 上では 4-bit でおよそ 43 tok/s が見込め、読む速度より十分に速い一方、M シリーズの Max では 18 tok/s 前後に落ち着き、DDR5 での純粋な CPU 実行は約 3 tok/s と這うような遅さになります。バッチ処理には問題ありませんが、リアルタイムのチャットにはつらい速度です。128K のコンテキストは長い推論の連鎖に本当に役立ちますが、扱いには注意が必要です。これを埋めると合計メモリは約 51.6 GB まで膨らみ、24 GB のカード 1 枚では収まりきりません。余裕がない限り、作業中のコンテキストは控えめに保つのが賢明です。

もう一つの 32B 推論モデルである DeepSeek R1 32B との違いは、おおむね性格の差です。R1 は明示的な chain-of-thought に強く寄りがちなのに対し、Qwen 3 32B は全般に、求められれば推論もこなせるバランスの取れた汎用アシスタントという印象です。際立った長所は、その幅広い能力とクリーンな Apache 2.0 ライセンスの組み合わせで、商用利用も本番環境での利用も法的な摩擦なく行えます。小さい Qwen 3 0.6B や 1.7B のチャットモデルを使い切り、完全に自分のものとして所有できる本格的な推論性能が欲しくなったなら、ハードウェアが支えきれる限り、これがその一段上の選択肢です。