Puis-je faire tourner Command R 35B ?

Command R 35B est le cheval de trait RAG-et-chat de Cohere, et il exige bien plus de votre matériel que les modèles 7-8B par lesquels la plupart des gens commencent. En 4-bit, il pèse environ 21 GB : la RTX 3060 de 12 GB est donc totalement hors course, et il vous faut au moins 32 GB de RAM système pour le charger confortablement. Son foyer réaliste, c'est une carte de 24 GB comme une RTX 4090, ou un Mac Apple Silicon doté d'une généreuse mémoire unifiée. Ne descendez à une quantisation 2-bit (environ 15 GB) que si vous êtes vraiment à l'étroit et prêt à accepter la perte de qualité.

À l'usage quotidien, il est régulier plutôt que vif. Sur une RTX 4090, comptez autour de 40 tokens par seconde en 4-bit, ce qui défile plus vite que vous ne lisez ; sur un M-series Max, il se stabilise vers 16 tok/s, exploitable mais nettement plus posé ; et sur un CPU en DDR5, vous tournez autour de 2 tok/s, soit un vrai test de patience. La fenêtre de contexte de 128K est réellement vaste, mais coûteuse à exploiter : remplissez-la et la mémoire totale grimpe à environ 54 GB. À moins de disposer d'une configuration de 48 GB ou plus, gardez donc un contexte de travail modeste et réservez la fenêtre complète aux longs documents occasionnels.

Face à la production actuelle, il accuse son âge de 2024. Les modèles Qwen 3.5 et 3.6 35B-A3B de la liste associée sont des architectures MoE qui semblent généralement plus rapides et plus solides en raisonnement et en code, deux domaines qui n'ont jamais été la priorité de Command R. Sa qualité marquante reste ce pour quoi Cohere l'a conçu : le chat à génération augmentée par récupération, ancré et sourcé, avec citations, où il a tendance à rester fidèle aux sources plutôt qu'à divaguer. Une réserve de taille, toutefois : les poids sont sous licence CC-BY-NC, donc strictement non commerciale. Vous pouvez l'utiliser pour des projets personnels et de la recherche, mais pas l'intégrer dans un produit ni dans le moindre service payant.