Qwen 3 4Bは動く？

Qwen 3 4B は、小さいモデルから本物の推論能力を引き出したいときにまず選ぶべきモデルです。4-bit 量子化ではおよそ 2.4 GB に収まるため、ほぼあらゆる環境に載ります。6 GB の GPU なら余裕があり、Apple Silicon の Mac ならどれでも丸ごと飲み込みますし、内蔵グラフィックスの古いノートパソコンでも動かせます。快適に使うために欲しい最小ラインは RAM 約 6 GB です。CPU のみのマシンや Raspberry Pi クラスのデバイスで動かす場合、この程度のフットプリントで「技術的に読み込めるだけ」ではなく実用的に役立つ数少ないモデルのひとつです。

日常の利用ではきびきびと感じられます。RTX 3060 では 4-bit でおよそ 126 トークン/秒、M シリーズの Max では 144 前後を出し、いずれも読む速度を大きく上回るので、チャットや短い推論チェーンでは応答が瞬時にストリーミングされます。4090 をお持ちなら 353 前後に達します。DDR5 の純粋な CPU 推論では約 21 トークン/秒まで落ち、遅いもののバックグラウンドのタスクには使えます。コンテキストウィンドウは 32K で大半の作業には十分ですが、これを埋めると合計メモリがおよそ 5.5 GB まで増えるため、6 GB ぎりぎりのマシンでは作業中のコンテキストは控えめに保ってください。

同じファミリー内で見ると、Qwen 3 4B は、小さい方のモデルが複数ステップのプロンプトでつまずき始めたときに Qwen 3 1.7B から自然にステップアップできる選択肢でありながら、7〜8B クラスよりはるかに軽量なままです。Phi-4 Mini 3.8B は同程度のサイズの妥当な代替で、チャットでは概ね互角に渡り合いますが、Qwen 3 4B の際立った特長は、これほど低い実行コストでパラメータ数以上の推論性能を発揮する点にあります。ライセンスは Apache 2.0 で提供されるため、ライセンスの心配なく商用利用や本番環境での運用ができ、この品質対サイズ比でそれが可能なのは希少です。