Un NVIDIA RTX 3060 peut-il faire tourner Llama 3.1 8B ?

Oui — le build 4 bits fait 4.9 GB à télécharger et tient dans 12 GB de VRAM. Comptez environ ~63 tok/s.

Quel est le plus gros LLM qu'un NVIDIA RTX 3060 peut faire tourner ?

Phi-4 Reasoning Vision 15B est le plus grand modèle de notre catalogue qui tient (9.1 GB en 4 bits). Comptez environ ~34 tok/s.

À quelle vitesse le NVIDIA RTX 3060 fait-il tourner les LLM locaux ?

La génération de tokens est limitée par la bande passante mémoire. À environ 360 GB/s, le NVIDIA RTX 3060 génère à peu près ~63 tok/s sur un modèle de classe 8B en 4 bits — la vitesse évolue inversement à la taille du modèle.

Le modèle entier doit-il tenir en VRAM ?

Pour une vitesse GPU maximale, oui. Des runtimes comme llama.cpp peuvent répartir les couches entre VRAM et RAM système, mais chaque couche qui déborde en RAM ralentit fortement la génération.

← Tous les modèlesTEST DE L'APPAREIL

Quels LLM un NVIDIA RTX 3060 peut-il faire tourner ?

Le NVIDIA RTX 3060 dispose de 12 GB de VRAM et d'environ 360 GB/s de bande passante mémoire. Voici tous les modèles de notre catalogue qui tiennent, avec leur vitesse de génération estimée. Plus gros choix : Phi-4 Reasoning Vision 15B à ~34 tok/s.

Caractéristiques

Mémoire12 GB de VRAM

Bande passante~360 GB/s

Type de mémoireVRAM dédiée

Sortie2021-02

Les modèles sur le NVIDIA RTX 3060

38 / 73 modèles

Modèle	Téléchargement (Q4)	Ça tient ?	~Vitesse
Phi-4 Reasoning Vision 15BMicrosoft	9.1 GB	Ça tourne	~34 tok/s
Qwen 3 14BAlibaba	9.0 GB	Ça tourne	~34 tok/s
DeepSeek R1 14BDeepSeek	9.0 GB	Ça tourne	~34 tok/s
Phi-4 14BMicrosoft	8.9 GB	Ça tourne	~34 tok/s
Ministral 3 14BMistral AI	8.5 GB	Ça tourne	~36 tok/s
OLMo 2 13BAi2	8.3 GB	Ça tourne	~37 tok/s
Gemma 3 12BGoogle	7.4 GB	Ça tourne	~41 tok/s
Mistral Nemo 12BMistral AI	7.4 GB	Ça tourne	~41 tok/s
Gemma 4 12BGoogle	7.3 GB	Ça tourne	~42 tok/s
Mellum 2 12B-A2.5BJetBrains	7.3 GB	Ça tourne	~202 tok/s
Qwen 3.5 9BAlibaba	5.5 GB	Ça tourne	~56 tok/s
GLM-4.6V-FlashZ.ai	5.5 GB	Ça tourne	~56 tok/s
Qwen 2.5 VL 7BAlibaba	5.0 GB	Ça tourne	~61 tok/s
Qwen 3 8BAlibaba	5.0 GB	Ça tourne	~62 tok/s
Granite 3.3 8BIBM	5.0 GB	Ça tourne	~62 tok/s
Llama 3.1 8BMeta	4.9 GB	Ça tourne	~63 tok/s
DeepSeek R1 8BDeepSeek	4.9 GB	Ça tourne	~63 tok/s
Gemma 4 E4BGoogle	4.9 GB	Ça tourne	~112 tok/s
Qwen3-VL 8BAlibaba	4.9 GB	Ça tourne	~63 tok/s
Ministral 3 8BMistral AI	4.9 GB	Ça tourne	~63 tok/s
Gemma 3n E4BGoogle	4.7 GB	Ça tourne	~126 tok/s
Qwen 2.5 Coder 7BAlibaba	4.6 GB	Ça tourne	~66 tok/s
DeepSeek R1 7BDeepSeek	4.6 GB	Ça tourne	~66 tok/s
Mistral 7BMistral AI	4.4 GB	Ça tourne	~70 tok/s
Gemma 4 E2BGoogle	3.1 GB	Ça tourne	~219 tok/s
Gemma 3 4BGoogle	2.6 GB	Ça tourne	~117 tok/s
Qwen 3 4BAlibaba	2.4 GB	Ça tourne	~126 tok/s
Qwen 3.5 4BAlibaba	2.4 GB	Ça tourne	~126 tok/s
Phi-4 Mini 3.8BMicrosoft	2.3 GB	Ça tourne	~133 tok/s
Llama 3.2 3BMeta	1.9 GB	Ça tourne	~158 tok/s
DeepSeek-OCRDeepSeek	1.8 GB	Ça tourne	~886 tok/s
Ministral 3 3BMistral AI	1.8 GB	Ça tourne	~168 tok/s
DeepSeek R1 1.5BDeepSeek	1.1 GB	Ça tourne	~280 tok/s
Qwen 3 1.7BAlibaba	1.0 GB	Ça tourne	~297 tok/s
SmolLM2 1.7BHugging Face	1.0 GB	Ça tourne	~297 tok/s
Llama 3.2 1BMeta	0.7 GB	Ça tourne	~421 tok/s
Gemma 3 1BGoogle	0.6 GB	Ça tourne	~505 tok/s
Qwen 3 0.6BAlibaba	0.4 GB	Ça tourne	~841 tok/s

Pour tourner entièrement sur le GPU, le build 4 bits doit tenir en VRAM. Les modèles qui ne tiennent pas peuvent quand même tourner sur CPU + RAM système, plusieurs fois plus lentement. · Données mises à jour: 2026-06-11 · Comment nous calculons ces chiffres →