Uma NVIDIA RTX 4090 consegue rodar o Llama 3.1 8B?

Sim — a build de 4 bits é um download de 4.9 GB e cabe em 24 GB de VRAM. Espere cerca de ~177 tok/s.

Qual é o maior LLM que uma NVIDIA RTX 4090 consegue rodar?

O Qwen 3.5 35B-A3B é o maior modelo do nosso catálogo que cabe (21.2 GB em 4 bits). Espere cerca de ~471 tok/s.

Quão rápida é a NVIDIA RTX 4090 para LLMs locais?

A geração de tokens é limitada pela largura de banda da memória. Com cerca de 1008 GB/s, a NVIDIA RTX 4090 gera por volta de ~177 tok/s em um modelo da classe 8B em 4 bits — a velocidade cai proporcionalmente ao tamanho do modelo.

O modelo inteiro precisa caber na VRAM?

Para velocidade total na GPU, sim. Runtimes como o llama.cpp conseguem dividir as camadas entre VRAM e RAM do sistema, mas cada camada que transborda para a RAM deixa a geração bem mais lenta.

← Todos os modelosVERIFICAÇÃO DE DISPOSITIVO

Quais LLMs uma NVIDIA RTX 4090 consegue rodar?

A NVIDIA RTX 4090 tem 24 GB de VRAM e cerca de 1008 GB/s de largura de banda de memória. Abaixo está cada modelo do nosso catálogo que cabe, com a velocidade de geração estimada. Maior escolha: Qwen 3.5 35B-A3B a ~471 tok/s.

Especificações

Memória24 GB de VRAM

Largura de banda~1008 GB/s

Tipo de memóriaVRAM dedicada

Lançamento2022-10

Modelos na NVIDIA RTX 4090

62 / 73 modelos

Modelo	Download (Q4)	Cabe?	~Velocidade
Qwen 3.5 35B-A3BAlibaba	21.2 GB	Roda	~471 tok/s
Qwen 3.6 35B-A3BAlibaba	21.2 GB	Roda	~471 tok/s
Command R 35BCohere	21.2 GB	Roda	~40 tok/s
Qwen3-VL 32BAlibaba	20.0 GB	Roda	~43 tok/s
EXAONE 4.5 33BLG AI Research	20.0 GB	Roda	~43 tok/s
Qwen 3 32BAlibaba	19.9 GB	Roda	~43 tok/s
Qwen 2.5 Coder 32BAlibaba	19.9 GB	Roda	~43 tok/s
QwQ 32BAlibaba	19.9 GB	Roda	~43 tok/s
DeepSeek R1 32BDeepSeek	19.9 GB	Roda	~43 tok/s
Granite 4.0 H SmallIBM	19.4 GB	Roda	~157 tok/s
Nemotron 3 Nano 30B-A3BNVIDIA	19.2 GB	Roda	~393 tok/s
Gemma 4 31BGoogle	18.6 GB	Roda	~46 tok/s
Qwen 3 30B-A3BAlibaba	18.5 GB	Roda	~428 tok/s
Qwen3-VL 30B-A3BAlibaba	18.2 GB	Roda	~471 tok/s
Gemma 3 27BGoogle	16.6 GB	Roda	~52 tok/s
Qwen 3.5 27BAlibaba	16.4 GB	Roda	~52 tok/s
Qwen 3.6 27BAlibaba	16.4 GB	Roda	~52 tok/s
Gemma 4 26B A4BGoogle	15.3 GB	Roda	~372 tok/s
Mistral Small 3.1 24BMistral AI	14.6 GB	Roda	~59 tok/s
Devstral 24BMistral AI	14.6 GB	Roda	~59 tok/s
Magistral Small 1.2Mistral AI	14.6 GB	Roda	~59 tok/s
Devstral Small 2 24BMistral AI	14.6 GB	Roda	~59 tok/s
Codestral 22BMistral AI	13.5 GB	Roda	~64 tok/s
GPT-OSS 20BOpenAI	12.7 GB	Roda	~393 tok/s
Phi-4 Reasoning Vision 15BMicrosoft	9.1 GB	Roda	~94 tok/s
Qwen 3 14BAlibaba	9.0 GB	Roda	~95 tok/s
DeepSeek R1 14BDeepSeek	9.0 GB	Roda	~95 tok/s
Phi-4 14BMicrosoft	8.9 GB	Roda	~96 tok/s
Ministral 3 14BMistral AI	8.5 GB	Roda	~101 tok/s
OLMo 2 13BAi2	8.3 GB	Roda	~103 tok/s
Gemma 3 12BGoogle	7.4 GB	Roda	~116 tok/s
Mistral Nemo 12BMistral AI	7.4 GB	Roda	~116 tok/s
Gemma 4 12BGoogle	7.3 GB	Roda	~118 tok/s
Mellum 2 12B-A2.5BJetBrains	7.3 GB	Roda	~565 tok/s
Qwen 3.5 9BAlibaba	5.5 GB	Roda	~157 tok/s
GLM-4.6V-FlashZ.ai	5.5 GB	Roda	~157 tok/s
Qwen 2.5 VL 7BAlibaba	5.0 GB	Roda	~170 tok/s
Qwen 3 8BAlibaba	5.0 GB	Roda	~172 tok/s
Granite 3.3 8BIBM	5.0 GB	Roda	~172 tok/s
Llama 3.1 8BMeta	4.9 GB	Roda	~177 tok/s
DeepSeek R1 8BDeepSeek	4.9 GB	Roda	~177 tok/s
Gemma 4 E4BGoogle	4.9 GB	Roda	~314 tok/s
Qwen3-VL 8BAlibaba	4.9 GB	Roda	~177 tok/s
Ministral 3 8BMistral AI	4.9 GB	Roda	~177 tok/s
Gemma 3n E4BGoogle	4.7 GB	Roda	~353 tok/s
Qwen 2.5 Coder 7BAlibaba	4.6 GB	Roda	~186 tok/s
DeepSeek R1 7BDeepSeek	4.6 GB	Roda	~186 tok/s
Mistral 7BMistral AI	4.4 GB	Roda	~196 tok/s
Gemma 4 E2BGoogle	3.1 GB	Roda	~614 tok/s
Gemma 3 4BGoogle	2.6 GB	Roda	~329 tok/s
Qwen 3 4BAlibaba	2.4 GB	Roda	~353 tok/s
Qwen 3.5 4BAlibaba	2.4 GB	Roda	~353 tok/s
Phi-4 Mini 3.8BMicrosoft	2.3 GB	Roda	~372 tok/s
Llama 3.2 3BMeta	1.9 GB	Roda	~442 tok/s
DeepSeek-OCRDeepSeek	1.8 GB	Roda	~2479 tok/s
Ministral 3 3BMistral AI	1.8 GB	Roda	~471 tok/s
DeepSeek R1 1.5BDeepSeek	1.1 GB	Roda	~785 tok/s
Qwen 3 1.7BAlibaba	1.0 GB	Roda	~831 tok/s
SmolLM2 1.7BHugging Face	1.0 GB	Roda	~831 tok/s
Llama 3.2 1BMeta	0.7 GB	Roda	~1178 tok/s
Gemma 3 1BGoogle	0.6 GB	Roda	~1413 tok/s
Qwen 3 0.6BAlibaba	0.4 GB	Roda	~2355 tok/s

Para rodar totalmente na GPU, a build de 4 bits precisa caber na VRAM. Modelos que não cabem ainda podem rodar na CPU + RAM do sistema, várias vezes mais devagar. · Dados atualizados: 2026-06-11 · Como calculamos esses números →