¿Puedo ejecutar Qwen 3.5 35B-A3B?

Qwen 3.5 35B-A3B es un modelo mixture-of-experts con un truco muy útil en su núcleo: de sus 35B de parámetros totales, solo unos 3B están activos por token. Así genera a la velocidad de un modelo diminuto mientras aprovecha el conocimiento de uno grande. El detalle está en la memoria. Igual mantienes el modelo completo en RAM, así que planifica según el tamaño total, no la porción activa. En 4-bit ronda los 21 GB, y conviene tener al menos 32 GB de memoria de sistema. Una RTX 3060 de 12 GB no lo va a alojar, así que en la práctica esto pide una GPU de 24 GB o un equipo Apple Silicon con mucha memoria.

Una vez que entra, el diseño MoE rinde y se siente ágil para su categoría de peso. En una RTX 4090 puedes ver alrededor de 471 tokens por segundo, y en un Apple M Max unos 192, ambos lo bastante rápidos como para que la respuesta adelante a tu lectura. La CPU sobre DDR5 logra unos 28 tokens por segundo, lento pero usable para trabajo por lotes. Maneja chat, razonamiento, programación y visión, con una generosa ventana de contexto de 256K. Aun así, trata ese techo con cuidado: con 128K de contexto el consumo total de memoria sube a unos 53.8 GB, así que las sesiones de contexto largo necesitan una máquina realmente grande, no solo la suficiente para cargar los pesos.

Frente a Command R 35B, un modelo denso del mismo tamaño que vale la pena comparar, la diferencia real es la arquitectura MoE y no la cuenta de parámetros: mismo tamaño nominal, pero Qwen tiende a correr mucho más rápido por token porque solo hay 3B activos. Esa relación entre velocidad y capacidad es su rasgo distintivo, una generación casi instantánea desde un modelo con el conocimiento de 35B, además del soporte multimodal de visión. Los más pequeños Qwen 3 0.6B y 1.7B son la opción si tienes poca memoria y solo necesitas chat básico. La licencia es la parte fácil: Apache 2.0 significa que puedes usarlo libremente, incluso de forma comercial y en producción, sin términos específicos del proveedor que leer.