Posso rodar o Command R 35B?

O Command R 35B é o cavalo de batalha da Cohere para RAG e chat, e exige mais do seu hardware do que os modelos de 7-8B com que a maioria começa. Em 4-bit ele pesa cerca de 21 GB, então a RTX 3060 de 12 GB está totalmente fora, e você precisa de pelo menos 32 GB de RAM de sistema para carregá-lo com folga. O lar realista para ele é uma placa de 24 GB como a RTX 4090, ou um Mac com Apple Silicon e bastante memória unificada. Só caia para um quant de 2-bit (cerca de 15 GB) se estiver no aperto e disposto a aceitar a perda de qualidade.

No uso diário ele é constante, não veloz. Numa RTX 4090 dá para esperar cerca de 40 tokens por segundo em 4-bit, o que transmite mais rápido do que você lê; num M-series Max ele estaciona perto de 16 tok/s, utilizável mas visivelmente mais pausado; e numa CPU com DDR5 você fica em torno de 2 tok/s, terreno que testa a paciência. A janela de contexto de 128K é genuinamente grande, mas cara de usar: encha-a e a memória total sobe para cerca de 54 GB, então, a menos que você tenha um setup de 48 GB ou mais, mantenha o contexto de trabalho modesto e reserve a janela cheia para documentos longos ocasionais.

Diante da safra atual, ele mostra a idade de 2024. Os modelos Qwen 3.5 e 3.6 35B-A3B na lista de relacionados são designs MoE que em geral parecem mais ágeis e mais fortes em raciocínio e em código, área que nunca foi o foco do Command R. Sua característica de destaque continua sendo aquilo para que a Cohere o construiu: chat com geração aumentada por recuperação (RAG) e citações ancoradas, onde ele tende a se manter na fonte em vez de divagar. Uma ressalva séria, porém: os pesos são CC-BY-NC, ou seja, somente não comercial. Você pode rodá-lo em projetos pessoais e pesquisa, mas não pode embarcá-lo em um produto nem em qualquer serviço pago.