Posso rodar o GLM-4.6V-Flash?

O GLM-4.6V-Flash é um modelo de visão e chat de 9B da Z.ai, voltado para quem quer um assistente local capaz de realmente olhar imagens, não só ler texto. Em quantização de 4-bit ele ocupa cerca de 5.5 GB, então cabe tranquilo numa placa de 12 GB como a RTX 3060 e entra na memória unificada de qualquer Mac com Apple Silicon razoavelmente equipado. O mínimo recomendado é por volta de 12 GB de RAM para carregá-lo com folga. Se você estiver apertado de espaço, uma build de 2-bit cai para uns 3.8 GB, mas aí você troca qualidade por essa margem.

No dia a dia ele parece rápido. Numa RTX 3060 dá para esperar cerca de 56 tokens por segundo em 4-bit, veloz o suficiente para as respostas passarem mais rápido que a leitura, e uma 4090 leva isso a uns 157 tok/s, se você tiver uma. Um M-series Max fica perto de 64 tok/s, enquanto CPU pura em DDR5 se arrasta a uns 9 tok/s, viável só se você tiver paciência. O contexto de 128K é real, mas caro: preenchê-lo empurra a memória total para perto de 23.2 GB, bem além do que uma placa de 12 GB comporta, então mantenha o contexto de trabalho enxuto e aposte em tarefas de visão em vez de documentos enormes.

Entre os concorrentes, o Qwen 2.5 VL 7B é o ponto de comparação óbvio no lado da visão e geralmente se sai bem, enquanto o Qwen 3.5 9B costuma ser a escolha mais forte se você também quer raciocínio junto com as imagens. O traço marcante do GLM-4.6V-Flash é ser um modelo multimodal genuinamente compacto, que roda em hardware modesto sem muita complicação. A licença é MIT, o que significa que você está livre para usá-lo comercialmente e em produção sem amarras do provedor, uma vantagem real diante de muitos lançamentos de pesos abertos.