¿Puedo ejecutar Qwen 3.6 35B-A3B?

Qwen 3.6 35B-A3B es un modelo mixture-of-experts, y eso lo explica todo sobre para quién está pensado. Tiene 35B de parámetros en total, pero solo activa 3B por token, así que corre a la velocidad de un modelo diminuto mientras exige la memoria de uno grande. En cuantización de 4 bits los pesos quedan en torno a 21.2 GB, pero el modelo aún necesita un mínimo de unos 32 GB de RAM para alojar el conjunto completo de expertos. Eso descarta una tarjeta de 12 GB como la RTX 3060, donde directamente no entra. Sus destinos naturales son una RTX 4090 de 24 GB o un Mac con Apple Silicon y memoria unificada de sobra.

En el día a día, la cuenta de los 3B activos rinde: en una 4090 puedes ver alrededor de 471 tokens por segundo, y en un M-series Max unos 192, más rápido que la mayoría de modelos densos de un tercio de su tamaño. Incluso la inferencia en CPU con DDR5 alcanza unos 28 tokens por segundo, suficiente para trabajos por lotes. Maneja chat, razonamiento, programación y visión, así que se gana su lugar como único modelo local para todo. La ventana de contexto de 256K es generosa, pero la memoria es la trampa: llenar solo 128K ya empuja la huella total a unos 53.8 GB, así que el trabajo de contexto largo pide una máquina de 64 GB, no una tarjeta de 24 GB.

Frente al modelo denso Command R 35B de su misma familia, este MoE en general se siente mucho más rápido al mismo tamaño nominal, ya que pagas 35B de memoria pero computas como un 3B. El compromiso es el típico de los MoE: un denso de 35B a veces puede llevar ventaja en el razonamiento single-shot más difícil, aunque para la mayoría del trabajo gana la velocidad. Su rasgo distintivo es esa relación velocidad-capacidad sumada a visión nativa en un solo paquete. La licencia es Apache 2.0, así que tienes libertad para usarlo comercialmente y en producción sin ataduras del proveedor.