← Alle ModelleGERÄTE-CHECK
Welche LLMs schafft eine NVIDIA RTX 4060?
Die NVIDIA RTX 4060 hat 8 GB VRAM und rund 272 GB/s Speicherbandbreite. Unten steht jedes Modell aus unserem Katalog, das passt — mit geschätzter Generierungsgeschwindigkeit. Größte Empfehlung: Gemma 3 12B mit ~31 tok/s.
Technische Daten
Speicher8 GB VRAM
Bandbreite~272 GB/s
SpeichertypDedizierter VRAM
Veröffentlicht2023-06
Modelle auf der NVIDIA RTX 4060
32 / 73 Modelle| Modell | Download (Q4) | Passt? | ~Tempo |
|---|---|---|---|
| Gemma 3 12B | 7.4 GB | Läuft | ~31 tok/s |
| Mistral Nemo 12B | 7.4 GB | Läuft | ~31 tok/s |
| Gemma 4 12B | 7.3 GB | Läuft | ~32 tok/s |
| Mellum 2 12B-A2.5B | 7.3 GB | Läuft | ~153 tok/s |
| Qwen 3.5 9B | 5.5 GB | Läuft | ~42 tok/s |
| GLM-4.6V-Flash | 5.5 GB | Läuft | ~42 tok/s |
| Qwen 2.5 VL 7B | 5.0 GB | Läuft | ~46 tok/s |
| Qwen 3 8B | 5.0 GB | Läuft | ~47 tok/s |
| Granite 3.3 8B | 5.0 GB | Läuft | ~47 tok/s |
| Llama 3.1 8B | 4.9 GB | Läuft | ~48 tok/s |
| DeepSeek R1 8B | 4.9 GB | Läuft | ~48 tok/s |
| Gemma 4 E4B | 4.9 GB | Läuft | ~85 tok/s |
| Qwen3-VL 8B | 4.9 GB | Läuft | ~48 tok/s |
| Ministral 3 8B | 4.9 GB | Läuft | ~48 tok/s |
| Gemma 3n E4B | 4.7 GB | Läuft | ~95 tok/s |
| Qwen 2.5 Coder 7B | 4.6 GB | Läuft | ~50 tok/s |
| DeepSeek R1 7B | 4.6 GB | Läuft | ~50 tok/s |
| Mistral 7B | 4.4 GB | Läuft | ~53 tok/s |
| Gemma 4 E2B | 3.1 GB | Läuft | ~166 tok/s |
| Gemma 3 4B | 2.6 GB | Läuft | ~89 tok/s |
| Qwen 3 4B | 2.4 GB | Läuft | ~95 tok/s |
| Qwen 3.5 4B | 2.4 GB | Läuft | ~95 tok/s |
| Phi-4 Mini 3.8B | 2.3 GB | Läuft | ~100 tok/s |
| Llama 3.2 3B | 1.9 GB | Läuft | ~119 tok/s |
| DeepSeek-OCR | 1.8 GB | Läuft | ~669 tok/s |
| Ministral 3 3B | 1.8 GB | Läuft | ~127 tok/s |
| DeepSeek R1 1.5B | 1.1 GB | Läuft | ~212 tok/s |
| Qwen 3 1.7B | 1.0 GB | Läuft | ~224 tok/s |
| SmolLM2 1.7B | 1.0 GB | Läuft | ~224 tok/s |
| Llama 3.2 1B | 0.7 GB | Läuft | ~318 tok/s |
| Gemma 3 1B | 0.6 GB | Läuft | ~381 tok/s |
| Qwen 3 0.6B | 0.4 GB | Läuft | ~636 tok/s |
Damit ein Modell vollständig auf der GPU läuft, muss der 4-Bit-Build in den VRAM passen. Modelle, die nicht passen, laufen trotzdem auf CPU + System-RAM — nur um ein Vielfaches langsamer. · Daten aktualisiert: 2026-06-11 · So berechnen wir diese Zahlen →
Häufig gestellte Fragen
Weitere Geräte
NVIDIA RTX 3060
12 GB · 360 GB/s
Anforderungen prüfen →NVIDIA RTX 4090
24 GB · 1008 GB/s
Anforderungen prüfen →Apple M1
8–16 GB · 68 GB/s
Anforderungen prüfen →Apple M2
8–24 GB · 100 GB/s
Anforderungen prüfen →Apple M3
8–24 GB · 102 GB/s
Anforderungen prüfen →Apple M4
16–32 GB · 120 GB/s
Anforderungen prüfen →Apple M4 Pro
24–64 GB · 273 GB/s
Anforderungen prüfen →