Posso rodar o SmolLM2 1.7B?

O SmolLM2 1.7B é para aquele cenário em que o Llama 8B é exagero: um modelo de chat realmente minúsculo que você roda em quase qualquer lugar. Em 4-bit ele ocupa cerca de 1 GB, e você só precisa de uns 3 GB de RAM para carregá-lo com espaço de trabalho, então ele roda num Mac M1 básico, num notebook de entrada, numa plaquinha tipo Raspberry Pi ou em qualquer celular moderno com folga. A licença é Apache 2.0, o que significa que você pode usá-lo comercialmente e em produção sem amarras do provedor. Pense nele como o modelo que você embarca, não aquele com quem você fica conversando o dia inteiro.

No dia a dia, o destaque é o throughput bruto. Numa RTX 3060 ele roda por volta de 297 tokens por segundo, um M Max chega a uns 338, e uma 4090 atinge cerca de 831, muito mais rápido do que você consegue ler. Mesmo numa CPU DDR5 comum ele entrega uns 49 tokens por segundo, perfeitamente usável para respostas curtas sem GPU alguma. O limite real é a janela de contexto de 8K. É pequena para os padrões atuais, então serve bem para perguntas isoladas, classificação e resumos curtos, mas não vai segurar um documento longo. Memória aqui não é problema: mesmo preenchendo todos os 8K, o total chega a apenas cerca de 1.5 GB.

Seja honesto sobre o que 1.7B entrega. Ele dá conta de chat leve, formatação e instruções simples, mas fica devendo em raciocínio de múltiplas etapas e tarefas de código mais longas. O Qwen 3 1.7B geralmente leva vantagem em prompts mais difíceis e estruturados, e o DeepSeek R1 1.5B costuma se sair melhor quando você realmente precisa de raciocínio em cadeia (chain-of-thought) em vez de respostas rápidas. Frente ao Llama 3.2 1B, ele troca um pouco de peso extra por uma saída mais estável. Sua marca registrada é a eficiência: um assistente totalmente aberto e de uso comercial que roda rápido em hardware que nada tão capaz quanto ele alcança. Recorra a ele quando o tamanho importa mais que a profundidade.