Потянет ли NVIDIA RTX 4060 Llama 3.1 8B?

Да — 4-битная сборка весит 4.9 GB и помещается в 8 GB VRAM. Ожидайте примерно ~48 tok/s.

Какая самая большая LLM, которую потянет NVIDIA RTX 4060?

Gemma 3 12B — крупнейшая модель нашего каталога, которая помещается (7.4 GB в 4 битах). Ожидайте около ~31 tok/s.

Насколько быстр NVIDIA RTX 4060 для локальных LLM?

Генерация токенов упирается в пропускную способность памяти. При примерно 272 GB/s NVIDIA RTX 4060 выдаёт около ~48 tok/s на модели класса 8B в 4 битах — скорость обратно пропорциональна размеру модели.

Должна ли вся модель поместиться в VRAM?

Для полной скорости GPU — да. Рантаймы вроде llama.cpp умеют делить слои между VRAM и системной RAM, но каждый слой, ушедший в RAM, резко замедляет генерацию.

← Все моделиПРОВЕРКА УСТРОЙСТВА

Какие LLM потянет NVIDIA RTX 4060?

У NVIDIA RTX 4060 8 GB VRAM и около 272 GB/s пропускной способности памяти. Ниже — все модели нашего каталога, которые помещаются, с оценкой скорости генерации. Самая крупная: Gemma 3 12B на ~31 tok/s.

Характеристики

Память8 GB VRAM

Пропускная способность~272 GB/s

Тип памятиВыделенная VRAM

Дата выхода2023-06

Модели на NVIDIA RTX 4060

32 / 73 моделей

Модель	Загрузка (Q4)	Поместится?	~Скорость
Gemma 3 12BGoogle	7.4 GB	Запустится	~31 tok/s
Mistral Nemo 12BMistral AI	7.4 GB	Запустится	~31 tok/s
Gemma 4 12BGoogle	7.3 GB	Запустится	~32 tok/s
Mellum 2 12B-A2.5BJetBrains	7.3 GB	Запустится	~153 tok/s
Qwen 3.5 9BAlibaba	5.5 GB	Запустится	~42 tok/s
GLM-4.6V-FlashZ.ai	5.5 GB	Запустится	~42 tok/s
Qwen 2.5 VL 7BAlibaba	5.0 GB	Запустится	~46 tok/s
Qwen 3 8BAlibaba	5.0 GB	Запустится	~47 tok/s
Granite 3.3 8BIBM	5.0 GB	Запустится	~47 tok/s
Llama 3.1 8BMeta	4.9 GB	Запустится	~48 tok/s
DeepSeek R1 8BDeepSeek	4.9 GB	Запустится	~48 tok/s
Gemma 4 E4BGoogle	4.9 GB	Запустится	~85 tok/s
Qwen3-VL 8BAlibaba	4.9 GB	Запустится	~48 tok/s
Ministral 3 8BMistral AI	4.9 GB	Запустится	~48 tok/s
Gemma 3n E4BGoogle	4.7 GB	Запустится	~95 tok/s
Qwen 2.5 Coder 7BAlibaba	4.6 GB	Запустится	~50 tok/s
DeepSeek R1 7BDeepSeek	4.6 GB	Запустится	~50 tok/s
Mistral 7BMistral AI	4.4 GB	Запустится	~53 tok/s
Gemma 4 E2BGoogle	3.1 GB	Запустится	~166 tok/s
Gemma 3 4BGoogle	2.6 GB	Запустится	~89 tok/s
Qwen 3 4BAlibaba	2.4 GB	Запустится	~95 tok/s
Qwen 3.5 4BAlibaba	2.4 GB	Запустится	~95 tok/s
Phi-4 Mini 3.8BMicrosoft	2.3 GB	Запустится	~100 tok/s
Llama 3.2 3BMeta	1.9 GB	Запустится	~119 tok/s
DeepSeek-OCRDeepSeek	1.8 GB	Запустится	~669 tok/s
Ministral 3 3BMistral AI	1.8 GB	Запустится	~127 tok/s
DeepSeek R1 1.5BDeepSeek	1.1 GB	Запустится	~212 tok/s
Qwen 3 1.7BAlibaba	1.0 GB	Запустится	~224 tok/s
SmolLM2 1.7BHugging Face	1.0 GB	Запустится	~224 tok/s
Llama 3.2 1BMeta	0.7 GB	Запустится	~318 tok/s
Gemma 3 1BGoogle	0.6 GB	Запустится	~381 tok/s
Qwen 3 0.6BAlibaba	0.4 GB	Запустится	~636 tok/s

Чтобы работать целиком на GPU, 4-битная сборка должна поместиться в VRAM. Модели, которые не помещаются, всё же могут работать на CPU + системной RAM — в несколько раз медленнее. · Данные обновлены: 2026-06-11 · Как мы считаем эти цифры →