← Tüm modellerCİHAZ KONTROLÜ

NVIDIA RTX 4060 hangi LLM'leri çalıştırır?

NVIDIA RTX 4060, 8 GB VRAM belleğe ve yaklaşık 272 GB/s bellek bant genişliğine sahip. Aşağıda katalogdaki sığan her model, tahmini üretim hızıyla listeleniyor. En büyük seçim: Gemma 3 12B, ~31 tok/s.

Teknik özellikler

Bellek8 GB VRAM
Bant genişliği~272 GB/s
Bellek türüAyrılmış VRAM
Çıkış2023-06

NVIDIA RTX 4060 üzerindeki modeller

32 / 73 model
Modelİndirme (Q4)Sığar mı?~Hız
Gemma 3 12B7.4 GBÇalışır~31 tok/s
Mistral Nemo 12B7.4 GBÇalışır~31 tok/s
Gemma 4 12B7.3 GBÇalışır~32 tok/s
Mellum 2 12B-A2.5B7.3 GBÇalışır~153 tok/s
Qwen 3.5 9B5.5 GBÇalışır~42 tok/s
GLM-4.6V-Flash5.5 GBÇalışır~42 tok/s
Qwen 2.5 VL 7B5.0 GBÇalışır~46 tok/s
Qwen 3 8B5.0 GBÇalışır~47 tok/s
Granite 3.3 8B5.0 GBÇalışır~47 tok/s
Llama 3.1 8B4.9 GBÇalışır~48 tok/s
DeepSeek R1 8B4.9 GBÇalışır~48 tok/s
Gemma 4 E4B4.9 GBÇalışır~85 tok/s
Qwen3-VL 8B4.9 GBÇalışır~48 tok/s
Ministral 3 8B4.9 GBÇalışır~48 tok/s
Gemma 3n E4B4.7 GBÇalışır~95 tok/s
Qwen 2.5 Coder 7B4.6 GBÇalışır~50 tok/s
DeepSeek R1 7B4.6 GBÇalışır~50 tok/s
Mistral 7B4.4 GBÇalışır~53 tok/s
Gemma 4 E2B3.1 GBÇalışır~166 tok/s
Gemma 3 4B2.6 GBÇalışır~89 tok/s
Qwen 3 4B2.4 GBÇalışır~95 tok/s
Qwen 3.5 4B2.4 GBÇalışır~95 tok/s
Phi-4 Mini 3.8B2.3 GBÇalışır~100 tok/s
Llama 3.2 3B1.9 GBÇalışır~119 tok/s
DeepSeek-OCR1.8 GBÇalışır~669 tok/s
Ministral 3 3B1.8 GBÇalışır~127 tok/s
DeepSeek R1 1.5B1.1 GBÇalışır~212 tok/s
Qwen 3 1.7B1.0 GBÇalışır~224 tok/s
SmolLM2 1.7B1.0 GBÇalışır~224 tok/s
Llama 3.2 1B0.7 GBÇalışır~318 tok/s
Gemma 3 1B0.6 GBÇalışır~381 tok/s
Qwen 3 0.6B0.4 GBÇalışır~636 tok/s

Modelin tamamen GPU'da çalışması için 4-bit sürümün VRAM'e sığması gerekir. Sığmayan modeller CPU + sistem RAM'i ile yine çalışır, ama birkaç kat daha yavaş. · Veri güncellemesi: 2026-06-11 · Bu sayıları nasıl hesaplıyoruz? →

Sık sorulan sorular

NVIDIA RTX 4060 Hangi LLM'leri Çalıştırır? (8 GB VRAM) — Canlı Kontrol