¿Puedo ejecutar Qwen 2.5 VL 7B?

Qwen 2.5 VL 7B es el modelo de visión y lenguaje de Alibaba, y ese es justo el punto que importa: además de chatear, lee imágenes, capturas de pantalla, gráficos y documentos, así que es el que conviene usar cuando tu prompt incluye una imagen y no solo texto. Con 8.3B de parámetros se mantiene compacto. Una cuantización de 4 bits ronda los 5 GB, entra en una GPU de 8 GB y cabe sin problemas en la memoria unificada de cualquier Mac con Apple Silicon. La cifra mínima de 8 GB de RAM es realista para los pesos, aunque el trabajo con visión y un contexto más largo suben esa exigencia en la práctica.

En el uso diario se siente rápido para su categoría. En una RTX 3060 12GB puedes esperar alrededor de 61 tokens por segundo a 4 bits, y una RTX 4090 lo lleva hasta unos 170, lo bastante veloz como para que las respuestas se generen más rápido de lo que alcanzas a leer. Un M-series Max se queda cerca de 69 tok/s, mientras que solo con CPU sobre DDR5 cae hasta unos 10. El contexto de 128K es real, pero es un techo, no una altitud de crucero: llenarlo eleva la memoria total a unos 22 GB, muy por encima de una tarjeta de 8 GB, así que mantén el contexto de trabajo moderado salvo que te sobre margen.

Para chat de solo texto, un modelo de texto dedicado como Granite 3.3 8B, de tamaño similar, suele ser una elección más limpia, porque está pensado para eso y se ahorra la sobrecarga de visión. La virtud que distingue a Qwen 2.5 VL 7B es precisamente esa sobrecarga rindiendo frutos: comprensión nativa de imágenes en un modelo lo bastante pequeño para autoalojarlo, algo que los diminutos Qwen 3 0.6B y 1.7B ni se acercan a lograr. Se distribuye bajo Apache 2.0, así que puedes usarlo comercialmente y en producción sin preocuparte por la licencia, algo poco común en pesos multimodales capaces.