Qwen 3.5 27Bは動く？

Qwen 3.5 27B は、8B では物足りず、かつ実用的なハードウェアを使える環境があるときに手を伸ばすモデルです。チャット、推論、コーディング、ビジョンをこなす dense な 27B なので、用途が一つに限られたアシスタントではなく、ローカルの主力として使えます。難点はその容量で、4-bit でおよそ 16.4 GB に達し、無理なく読み込むには最低 24 GB の RAM が欲しいところです。これにより RTX 3060 のような 12 GB のカードは対象外となり（そもそも収まりません）、24 GB の GPU、あるいは潤沢なユニファイドメモリを備えた Apple Silicon の Mac が選択肢になります。

RTX 4090 では 4-bit でおよそ 52 トークン/秒が見込め、読む速度より速くストリーミングされるため、対話的な作業でも快適です。M シリーズの Max ではおよそ 21 トークン/秒に落ち着き、チャットやコーディングには十分ですが、長い生成では遅くなります。DDR5 上の純粋な CPU では約 3 トークン/秒まで下がり、これは忍耐が要る領域です。256K のコンテキストは見出しになる数字ですが、これは上限として捉えてください。128K では総メモリが約 45.4 GB まで増えるため、24 GB のカードでは作業コンテキストを上限よりかなり低く抑えるのが賢明です。

自然な比較対象は Gemma 3 27B で、このサイズ帯でビジョンを備えたもう一つのオープンウェイトな 27B です。主に洗練されたチャットと画像理解を求めるなら Gemma の方が無難な選択になりがちですが、Qwen 3.5 27B はコーディングと構造化された推論で総じて強く、ここが開発者にとっての際立った価値になります。実用面での大きな利点はライセンスです。Apache 2.0 で提供されるため、Gemma に付随するオープンウェイト固有の条項とは異なり、プロバイダー固有のひも付き条件なしに商用利用や本番環境で利用できます。