Qwen 3.5 9Bは動く?
AlibabaのQwen 3.5 9Bは、推奨の4bit量子化で約12 GBのRAMが必要です(ダウンロードは5.5 GB)。あなたのハードウェアを下で即チェック — データは一切ブラウザの外に出ません。 NVIDIA RTX 3060 12GBならおよそ ~56 tok/s が目安です。
ハードウェア情報を読み取っています…
実際の使用メモ
Qwen 3.5 9B はアリババが2026年初頭にリリースした汎用モデルで、興味深いのはテキストだけでなく、チャットや推論と並んでビジョン(画像理解)にも対応している点です。4-bit quant ではおよそ 5.5 GB に収まり、12 GB の GPU にはぎりぎりですが実用的に載せられ、Apple Silicon Mac のユニファイドメモリなら余裕を持って動きます。さらに小さい環境に押し込みたい場合は約 3.8 GB の 2-bit ビルドまで下げられますが、その分だけ品質を犠牲にします。システム RAM は実用的な下限として 12 GB ほどを見込んでおくとよいでしょう。
日常的な利用では動作は軽快に感じられます。RTX 3060 では 4-bit で約 56 tok/s、M シリーズの Max なら約 64 tok/s が見込め、いずれも読む速度より速いです。RTX 4090 をお持ちなら約 157 tok/s と一気に駆け抜けます。256K のコンテキストウィンドウが目玉の数字ですが、メモリについては現実的に考えてください。128K コンテキストでも全体のフットプリントは約 23.2 GB まで膨らみ、12 GB のカードを大きく超えてしまいます。24 GB の GPU に余裕がない限り、作業中のコンテキストは控えめに保つのが賢明です。
同じファミリー内での位置づけは明快です。Qwen 3 0.6B と 1.7B はハードウェアが限られた環境向けのチャット専用の軽量モデルですが、この 9B は推論と画像理解を同じモデルで欲しいときに手を伸ばす一台です。ビジョン対応の同規模の比較対象としては GLM-4.6V-Flash があり、両者はタスクによって優劣が入れ替わるのが一般的です。Qwen 3.5 9B の際立った特長は、ひとつのダウンロードで幅広い用途をこなせる点にあり、Apache 2.0 ライセンスのおかげで一切の制約なく商用利用できます。
スペック
量子化別サイズ
| 量子化 | ビット/重み | ダウンロード | 必要RAM | 品質 |
|---|---|---|---|---|
| Q2_K | 3.35 | 3.8 GB | 8 GB | 劣化が目立つ |
| Q4_K_M推奨 | 4.85 | 5.5 GB | 12 GB | 推奨 |
| Q5_K_M | 5.65 | 6.4 GB | 12 GB | 高品質 |
| Q8_0 | 8.5 | 9.6 GB | 16 GB | ほぼ原品質 |
| F16 | 16 | 18.0 GB | 24 GB | オリジナル |
サイズはパラメータ数×ビット/重みからの推定値です。実際のGGUFビルドとは多少異なります。 · データ更新日: 2026-06-11 · 数値の算出方法 →
コンテキスト長別の必要メモリ
| コンテキスト | KVキャッシュ(推定) | 合計メモリ(Q4) |
|---|---|---|
| 4K トークン | ~0.6 GB | ~6.1 GB |
| 8K トークン | ~1.1 GB | ~6.6 GB |
| 32K トークン | ~4.4 GB | ~9.9 GB |
| 128K トークン | ~17.7 GB | ~23.2 GB |
KVキャッシュはコンテキスト長に比例して増えます — 4Kで収まるモデルでも32Kではメモリ不足になることがあります。推定はgrouped-query attention使用時のFP16キャッシュを前提としており、実際の使用量はランタイムによって異なります。
ハードウェア別の推定速度
| ハードウェア | 帯域幅 | 速度の目安 |
|---|---|---|
| NVIDIA RTX 3060 12GB | 360 GB/s | ~56 tok/s |
| NVIDIA RTX 4090 24GB | 1008 GB/s | ~157 tok/s |
| Apple M-series (base) | 100 GB/s | ~16 tok/s |
| Apple M-series Pro | 270 GB/s | ~42 tok/s |
| Apple M-series Max | 410 GB/s | ~64 tok/s |
| CPU only (dual-channel DDR5) | 60 GB/s | ~9 tok/s |
トークン生成はメモリ帯域幅に律速されます:tok/s ≈ 帯域幅 × 0.85 ÷ Q4でのモデルサイズ。実際の数値はランタイムやコンテキスト長によって変わります。
ローカルで動かす
いちばん簡単なのはOllama — コマンド1つでチャットを始められます:
ollama run qwen3.5:9b