← モデル一覧へデバイスチェック
NVIDIA RTX 4060で動くLLMは？
NVIDIA RTX 4060はVRAM 8 GBを搭載し、メモリ帯域幅は約272 GB/sです。以下は、カタログの中で収まる全モデルと生成速度の目安です。 動く最大のモデルはGemma 3 12B — およそ ~31 tok/s が目安です。
スペック
メモリVRAM 8 GB
帯域幅~272 GB/s
メモリの種類専用VRAM
公開日2023-06
NVIDIA RTX 4060で動くモデル
32 / 73 モデル| モデル | ダウンロード（Q4） | 収まる？ | 速度目安 |
|---|---|---|---|
| Gemma 3 12B | 7.4 GB | 動く | ~31 tok/s |
| Mistral Nemo 12B | 7.4 GB | 動く | ~31 tok/s |
| Gemma 4 12B | 7.3 GB | 動く | ~32 tok/s |
| Mellum 2 12B-A2.5B | 7.3 GB | 動く | ~153 tok/s |
| Qwen 3.5 9B | 5.5 GB | 動く | ~42 tok/s |
| GLM-4.6V-Flash | 5.5 GB | 動く | ~42 tok/s |
| Qwen 2.5 VL 7B | 5.0 GB | 動く | ~46 tok/s |
| Qwen 3 8B | 5.0 GB | 動く | ~47 tok/s |
| Granite 3.3 8B | 5.0 GB | 動く | ~47 tok/s |
| Llama 3.1 8B | 4.9 GB | 動く | ~48 tok/s |
| DeepSeek R1 8B | 4.9 GB | 動く | ~48 tok/s |
| Gemma 4 E4B | 4.9 GB | 動く | ~85 tok/s |
| Qwen3-VL 8B | 4.9 GB | 動く | ~48 tok/s |
| Ministral 3 8B | 4.9 GB | 動く | ~48 tok/s |
| Gemma 3n E4B | 4.7 GB | 動く | ~95 tok/s |
| Qwen 2.5 Coder 7B | 4.6 GB | 動く | ~50 tok/s |
| DeepSeek R1 7B | 4.6 GB | 動く | ~50 tok/s |
| Mistral 7B | 4.4 GB | 動く | ~53 tok/s |
| Gemma 4 E2B | 3.1 GB | 動く | ~166 tok/s |
| Gemma 3 4B | 2.6 GB | 動く | ~89 tok/s |
| Qwen 3 4B | 2.4 GB | 動く | ~95 tok/s |
| Qwen 3.5 4B | 2.4 GB | 動く | ~95 tok/s |
| Phi-4 Mini 3.8B | 2.3 GB | 動く | ~100 tok/s |
| Llama 3.2 3B | 1.9 GB | 動く | ~119 tok/s |
| DeepSeek-OCR | 1.8 GB | 動く | ~669 tok/s |
| Ministral 3 3B | 1.8 GB | 動く | ~127 tok/s |
| DeepSeek R1 1.5B | 1.1 GB | 動く | ~212 tok/s |
| Qwen 3 1.7B | 1.0 GB | 動く | ~224 tok/s |
| SmolLM2 1.7B | 1.0 GB | 動く | ~224 tok/s |
| Llama 3.2 1B | 0.7 GB | 動く | ~318 tok/s |
| Gemma 3 1B | 0.6 GB | 動く | ~381 tok/s |
| Qwen 3 0.6B | 0.4 GB | 動く | ~636 tok/s |
GPUでフル動作させるには、4bitビルドがVRAMに収まる必要があります。収まらないモデルもCPU＋システムRAMで動かせますが、数倍遅くなります。 · データ更新日: 2026-06-11 · 数値の算出方法 →