Qwen 3 8Bは動く？

Qwen 3 8B は、単なるチャットではなく実際に少し「考えられる」ローカルアシスタントが欲しいときに選ぶモデルです。4-bit 量子化なら約 5 GB に収まるため 8 GB GPU に載りますし、最小 8 GB という RAM 要件は、ベース構成の Apple Silicon Mac や控えめなデスクトップでも問題なくホストできることを意味します。最大の特徴はハイブリッド思考モードです。回答前に追加のトークンを使って問題を推論できる点が、同じ 8B クラスの素のチャットモデルではなくこれを選ぶ理由になっています。

日常的な使用感は軽快です。RTX 3060 12GB ではおよそ 62 tokens/sec、M シリーズの Max では約 70、RTX 4090 では約 172 tok/s に達し、いずれも読む速度を上回るほど高速です。CPU のみで DDR5 の場合は約 10 tok/s まで落ち、バッチ処理には十分ですが対話用途には向きません。128K のコンテキストは実用的ですが注意が必要です。最後まで埋めると合計メモリが約 22 GB まで膨らみ、8 GB のカードでは到底収まりません。余裕がない限り作業コンテキストは控えめに保つか、3.4 GB の q2 ビルドに落としてください。

主にチャット向けの同規模オープンモデルである Granite 3.3 8B と比べると、Qwen 3 8B は思考モードのおかげで多段階の推論や数学で一般に優位に立ち、一方の Granite はより会話的に感じられます。この小ささでありながら推論モードを切り替えられる点が際立った特長です。そしてライセンスは気楽な部分です。Apache 2.0 なので、プロバイダー固有の制約なしに商用利用や本番投入が可能で、これはこのサイズのモデルでは本来あるべきより珍しいことです。