Qwen 3 0.6Bは動く？

Qwen 3 0.6B は本当に小さなモデルであり、まさにそこが狙いです。4-bit で約 0.4 GB、q8 ビルドでもわずか 0.6 GB なので、2 GB の RAM に余裕を持って収まります。つまり、古いノート PC、Raspberry Pi クラスのボード、スマートフォン、あるいは最近の GPU の片隅まで、ほぼあらゆる環境で動きます。何でもこなす万能アシスタントとしてではなく、LLM を動かす想定などないハードウェアでローカルのテキスト生成をしたいときに手を伸ばすモデル、と捉えるとよいでしょう。

日常的に使ってまず際立つのは、純粋な速さです。RTX 3060 では毎秒およそ 841 トークン、M シリーズの Max では 958 前後、4090 では約 2355 tok/s に達します。これは読む速度をはるかに超えており、タイトなループやバッチ処理に組み込むのにも十分です。DDR5 を積んだ CPU でも約 140 tok/s 出るので、実用上まったく問題ありません。32K のコンテキストウィンドウは実在する性能で、本体が小さいままなので 32K を満載しても合計で約 1.7 GB しか必要とせず、ここでは KV キャッシュの圧迫をほとんど気にせずに済みます。

ただしトレードオフには正直であるべきです。0.6B パラメータの本モデルはチャット用であり、推論器ではありません。マルチステップ、構造化、コード中心の処理では、同じファミリーの Qwen 3 4B が概してはっきり上回り、Qwen 3 1.7B でも指示への追従はより安定する傾向があります。Gemma 3 1B と比べると、より軽量で高速な選択肢ですが、単純なチャットの領域では似たような立ち位置です。本領はフットプリントの小ささと速さであり、ライセンスも追い風です。Apache 2.0 なので、商用利用を含めて自由に使え、プロバイダー固有の制約は一切ありません。