Kann eine NVIDIA RTX 4060 Llama 3.1 8B ausführen?

Ja — der 4-Bit-Build ist ein 4.9 GB großer Download und passt in 8 GB VRAM. Rechnen Sie mit rund ~48 tok/s.

Was ist das größte LLM, das eine NVIDIA RTX 4060 ausführen kann?

Gemma 3 12B ist das größte Modell in unserem Katalog, das passt (7.4 GB bei 4 Bit). Rechnen Sie mit etwa ~31 tok/s.

Wie schnell ist die NVIDIA RTX 4060 für lokale LLMs?

Die Token-Generierung ist durch die Speicherbandbreite begrenzt. Mit rund 272 GB/s erzeugt die NVIDIA RTX 4060 etwa ~48 tok/s bei einem Modell der 8B-Klasse mit 4 Bit — die Geschwindigkeit sinkt proportional zur Modellgröße.

Muss das ganze Modell in den VRAM passen?

Für volle GPU-Geschwindigkeit ja. Runtimes wie llama.cpp können Layer zwischen VRAM und System-RAM aufteilen, aber jeder Layer, der in den RAM ausweicht, bremst die Generierung deutlich.

← Alle ModelleGERÄTE-CHECK

Welche LLMs schafft eine NVIDIA RTX 4060?

Die NVIDIA RTX 4060 hat 8 GB VRAM und rund 272 GB/s Speicherbandbreite. Unten steht jedes Modell aus unserem Katalog, das passt — mit geschätzter Generierungsgeschwindigkeit. Größte Empfehlung: Gemma 3 12B mit ~31 tok/s.

Technische Daten

Speicher8 GB VRAM

Bandbreite~272 GB/s

SpeichertypDedizierter VRAM

Veröffentlicht2023-06

Modelle auf der NVIDIA RTX 4060

32 / 73 Modelle

Modell	Download (Q4)	Passt?	~Tempo
Gemma 3 12BGoogle	7.4 GB	Läuft	~31 tok/s
Mistral Nemo 12BMistral AI	7.4 GB	Läuft	~31 tok/s
Gemma 4 12BGoogle	7.3 GB	Läuft	~32 tok/s
Mellum 2 12B-A2.5BJetBrains	7.3 GB	Läuft	~153 tok/s
Qwen 3.5 9BAlibaba	5.5 GB	Läuft	~42 tok/s
GLM-4.6V-FlashZ.ai	5.5 GB	Läuft	~42 tok/s
Qwen 2.5 VL 7BAlibaba	5.0 GB	Läuft	~46 tok/s
Qwen 3 8BAlibaba	5.0 GB	Läuft	~47 tok/s
Granite 3.3 8BIBM	5.0 GB	Läuft	~47 tok/s
Llama 3.1 8BMeta	4.9 GB	Läuft	~48 tok/s
DeepSeek R1 8BDeepSeek	4.9 GB	Läuft	~48 tok/s
Gemma 4 E4BGoogle	4.9 GB	Läuft	~85 tok/s
Qwen3-VL 8BAlibaba	4.9 GB	Läuft	~48 tok/s
Ministral 3 8BMistral AI	4.9 GB	Läuft	~48 tok/s
Gemma 3n E4BGoogle	4.7 GB	Läuft	~95 tok/s
Qwen 2.5 Coder 7BAlibaba	4.6 GB	Läuft	~50 tok/s
DeepSeek R1 7BDeepSeek	4.6 GB	Läuft	~50 tok/s
Mistral 7BMistral AI	4.4 GB	Läuft	~53 tok/s
Gemma 4 E2BGoogle	3.1 GB	Läuft	~166 tok/s
Gemma 3 4BGoogle	2.6 GB	Läuft	~89 tok/s
Qwen 3 4BAlibaba	2.4 GB	Läuft	~95 tok/s
Qwen 3.5 4BAlibaba	2.4 GB	Läuft	~95 tok/s
Phi-4 Mini 3.8BMicrosoft	2.3 GB	Läuft	~100 tok/s
Llama 3.2 3BMeta	1.9 GB	Läuft	~119 tok/s
DeepSeek-OCRDeepSeek	1.8 GB	Läuft	~669 tok/s
Ministral 3 3BMistral AI	1.8 GB	Läuft	~127 tok/s
DeepSeek R1 1.5BDeepSeek	1.1 GB	Läuft	~212 tok/s
Qwen 3 1.7BAlibaba	1.0 GB	Läuft	~224 tok/s
SmolLM2 1.7BHugging Face	1.0 GB	Läuft	~224 tok/s
Llama 3.2 1BMeta	0.7 GB	Läuft	~318 tok/s
Gemma 3 1BGoogle	0.6 GB	Läuft	~381 tok/s
Qwen 3 0.6BAlibaba	0.4 GB	Läuft	~636 tok/s

Damit ein Modell vollständig auf der GPU läuft, muss der 4-Bit-Build in den VRAM passen. Modelle, die nicht passen, laufen trotzdem auf CPU + System-RAM — nur um ein Vielfaches langsamer. · Daten aktualisiert: 2026-06-11 · So berechnen wir diese Zahlen →