¿Puedo ejecutar Command R 35B?

Command R 35B es el caballo de batalla de Cohere para RAG y chat, y exige más al hardware que los modelos de 7-8B con los que la mayoría empieza. En 4 bits pesa unos 21 GB, así que la RTX 3060 de 12 GB queda descartada por completo, y necesitas al menos 32 GB de RAM de sistema para cargarlo con holgura. Su sitio natural es una tarjeta de 24 GB como una RTX 4090, o un Mac con Apple Silicon y memoria unificada de sobra. Baja a una cuantización de 2 bits (unos 15 GB) solo si vas muy justo y aceptas la pérdida de calidad.

En el día a día es estable más que ágil. En una RTX 4090 puedes esperar alrededor de 40 tokens por segundo en 4 bits, que fluye más rápido de lo que lees; en un M-series Max se queda cerca de 16 tok/s, usable pero notablemente más pausado; y en una CPU con DDR5 hablas de unos 2 tok/s, terreno que pone a prueba la paciencia. La ventana de contexto de 128K es realmente grande, pero usarla sale caro: si la llenas, la memoria total sube a unos 54 GB, así que salvo que tengas un equipo de 48 GB o más, mantén el contexto de trabajo moderado y reserva la ventana completa para documentos largos ocasionales.

Frente a lo que hay hoy, se le nota su edad de 2024. Los modelos Qwen 3.5 y 3.6 35B-A3B de la lista relacionada son diseños MoE que en general se sienten más rápidos y fuertes en razonamiento y programación, donde Command R nunca puso el foco. Su rasgo distintivo sigue siendo aquello para lo que Cohere lo construyó: chat con generación aumentada por recuperación y citas, donde tiende a ceñirse a la fuente en lugar de divagar. Eso sí, una advertencia tajante: los pesos son CC-BY-NC, así que esto es solo para uso no comercial. Puedes ejecutarlo en proyectos personales e investigación, pero no puedes incluirlo en un producto ni en ningún servicio de pago.