Qwen 3 1.7Bは動く？

Qwen 3 1.7B は、瞬時にロードでき、ハードウェアにほとんど負荷をかけないローカルアシスタントを求める人向けの、超小型のチャットモデルです。4-bit 量子化ではディスク上で約 1 GB、全体で約 3 GB の RAM で動くため、古いノートパソコン、Raspberry Pi クラスのボード、スマートフォン、忘れていたようなローエンド GPU など、ほぼあらゆる環境に収まります。専用のグラフィックカードを持っていない場合や、メモリを一切気にせずバックグラウンドで何かを常時動かしておきたい場合に手を伸ばすモデルです。

実際の GPU 上では、ほとんど馬鹿げているほど高速です。RTX 3060 で約 297 tok/s、4090 では 831 tok/s を超え、Apple Silicon M Max でも 338 tok/s 前後に達します。DDR5 上の純粋な CPU でも約 49 tok/s をこなし、これでも人が読むより速い速度です。コンテキストウィンドウは 32K で、ヘビー級モデルとは違ってここでは大きな負担なく実際に使い切れます。32K のフルコンテキストでも合計フットプリントはわずか約 3.1 GB なので、控えめなマシンでも長い会話をメモリ上に余裕を持って保持できます。

正直に言いましょう。1.7B パラメータのこれはチャットモデルであって、推論エンジンではありません。短い質疑応答、言い換え、シンプルなツール呼び出しは問題なくこなしますが、多段階のロジックや本格的なプランニングが必要なものでは脆くなります。メモリに余裕があるなら、Qwen 3 4B のほうが概して目に見えて推論が優れています。さらに制約が厳しいなら Qwen 3 0.6B がより軽い下位の選択肢で、SmolLM2 1.7B は比較検討する価値のある同サイズの競合です。際立った長所は速度対サイズの比率であり、Apache 2.0 ライセンスのため、ライセンスの心配なく商用利用や本番環境での利用ができます。