Posso rodar o Qwen 3 1.7B?

O Qwen 3 1.7B é um modelo de chat minúsculo, feito para quem quer um assistente local que carrega instantaneamente e quase não pesa no hardware. Em quantização de 4 bits ele ocupa cerca de 1 GB em disco, e o conjunto inteiro roda em aproximadamente 3 GB de RAM, então cabe em praticamente qualquer coisa: um notebook antigo, uma placa do tipo Raspberry Pi, um celular ou uma GPU de entrada que você nem lembrava que tinha. É o modelo que você escolhe quando não tem uma placa de vídeo dedicada ou quer algo rodando em segundo plano sem se preocupar com memória.

Em uma GPU de verdade ele é quase absurdamente rápido. Uma RTX 3060 entrega por volta de ~297 tok/s e uma 4090 ultrapassa ~831 tok/s, enquanto um Apple Silicon M Max fica perto de ~338 tok/s. Até em CPU pura com DDR5 ele consegue cerca de ~49 tok/s, o que ainda é mais rápido do que você lê. A janela de contexto é de 32K e, ao contrário dos modelos pesados, aqui dá pra preenchê-la de verdade sem muita dor: no contexto completo de 32K o consumo total fica em apenas cerca de 3.1 GB, então uma máquina modesta segura uma conversa longa na memória com folga.

Hora da honestidade: com 1.7B de parâmetros, isto é um modelo de chat, não um motor de raciocínio. Ele dá conta de perguntas e respostas curtas, reescrita e chamadas de ferramenta simples, mas fica frágil em lógica de múltiplas etapas ou qualquer coisa que exija planejamento real. Se você tiver memória sobrando, o Qwen 3 4B costuma raciocinar bem melhor; se estiver ainda mais limitado, o Qwen 3 0.6B é o degrau mais leve abaixo, enquanto o SmolLM2 1.7B é um par do mesmo tamanho que vale comparar. Seu grande trunfo é a relação velocidade/tamanho e, por ser Apache 2.0, você pode usá-lo comercialmente e em produção sem dores de cabeça com licenciamento.