Qwen 3.5 4Bは動く？

Qwen 3.5 4B は、ハードウェアにほとんど負荷をかけずに動く実用的なローカルアシスタントが欲しい人向けに作られた、小型で密(dense)なモデルです。4-bit 量子化ではサイズが約 2.4 GB に収まるため、ほぼすべての最新 GPU に余裕を持って載り、Apple Silicon Mac のユニファイドメモリ上でも快適に動作します。最小要件が 6 GB RAM なので、少し古いノート PC でも動かせます。さらにチャットだけでなくビジョン(画像)処理にも対応しており、このサイズでは珍しい特徴です。ライセンスは Apache 2.0 で、商用利用も本番(production)環境での利用も制約なしに行えます。

日常利用では十分に高速です。RTX 4090 では毎秒およそ 353 tok/s、ミドルレンジの RTX 3060 でも約 126 tok/s 出るため、どちらも読む速度をはるかに上回ります。M シリーズの Max は 144 tok/s あたりで、DDR5 上の CPU のみでも、気長に待てるなら約 21 tok/s を確保できます。256K のコンテキストウィンドウは余裕がありますが、これは標準値ではなく余裕分(ヘッドルーム)と捉えてください。ウィンドウを埋めるほどメモリ消費は急激に増え、128K コンテキストでは合計フットプリントが約 14.7 GB に達します。これは多くのコンシューマー向けカードの容量を超えるため、メモリに余裕がない限り作業コンテキストは控えめに保ってください。

同じファミリー内では、スマートフォンや組み込み(embedded)用途に向いた小型の Qwen 3 1.7B や 0.6B のかなり上に位置します。これらは主力アシスタントというより、そうした用途に適したモデルです。Phi-4 Mini 3.8B と比べると、Qwen 3.5 4B はビジョン対応とより長いコンテキストのおかげで全般に守備範囲が広く感じられ、一方の Phi-4 Mini は範囲を絞った推論タスクで健闘します。ここで際立つのは、このフットプリントが生む価値です。完全に自由なライセンスの下、控えめなハードウェアで高速に動くマルチモーダルな 4B というのは稀な組み合わせであり、軽量なローカル構成における手軽な定番(デフォルト)の選択肢になっています。