Posso rodar o Qwen3-VL 30B-A3B?

O Qwen3-VL 30B-A3B é o modelo de visão mixture-of-experts da Alibaba, e o truque principal está no próprio nome: 30B de parâmetros no total, mas apenas 3B ativos por token. Isso significa que ele roda na velocidade de um modelo pequeno, mas ainda precisa de memória para carregar o conjunto inteiro. Em quantização de 4-bit, fica em torno de 18.2 GB, e você quer pelo menos 32 GB de RAM para mantê-lo com folga. Ele não cabe numa placa de 12 GB como a RTX 3060, mas uma máquina Apple Silicon com bastante memória unificada ou uma GPU de 24 GB é o lar natural dele. Foi feito para quem quer compreensão de imagens junto com chat e raciocínio rodando localmente.

No uso diário, o desenho de 3B ativos compensa: numa RTX 4090 você vê algo perto de 471 tokens por segundo, e até um Apple M Max se mantém ágil com cerca de 192 tok/s, rápido o bastante para as respostas de visão parecerem instantâneas. Numa CPU com DDR5, a coisa cai para uns 28 tok/s, utilizável mas já sem aquele frescor. A janela de contexto de 256K é o teto de marketing, não um almoço grátis. Preenchê-la sai caro: com 128K de contexto, o modelo mais o cache sobem para cerca de 48.6 GB no total, então dimensione sua memória pelo contexto que você de fato usa, e não pelo máximo da ficha técnica.

Frente ao Gemma 4 31B, o modelo correlato mais próximo aqui, os dois ficam em território parecido em tamanho, mas o Gemma 4 é um modelo denso de 30.7B que ativa todos os parâmetros, então o Qwen3-VL em geral parece mais rápido para o tamanho que ocupa, enquanto o Gemma costuma ser mais consistente em raciocínio puro e código. O traço de destaque do Qwen3-VL é essa capacidade de visão embutida num modelo tão rápido em hardware de consumidor, algo ainda incomum localmente. Ele vem com licença Apache 2.0, então você pode usá-lo comercialmente e em produção sem restrições específicas do provedor. Baixe com a tag qwen3-vl:30b do Ollama e mãos à obra.