我能跑 Command R 35B 吗？

Command R 35B 是 Cohere 主打 RAG 与对话的主力模型，对硬件的要求比大多数人入门常用的 7-8B 模型高出不少。4-bit 量化下体积约 21 GB，所以 12 GB 的 RTX 3060 完全跑不动，系统内存也至少要 32 GB 才能从容加载。它真正适合的环境是 RTX 4090 这类 24 GB 显卡，或是配备充足统一内存的 Apple Silicon Mac。只有在显存确实吃紧、且愿意接受质量下降的情况下，才考虑降到 2-bit 量化（约 15 GB）。

日常使用中它属于稳健型，而非反应迅捷型。在 RTX 4090 上，4-bit 量化大约能跑到每秒 40 tokens，输出速度快过你的阅读速度；在 M 系列 Max 芯片上稳定在 16 tok/s 左右，可用，但明显要慢一些、更悠着来；而在搭配 DDR5 内存的 CPU 上只有大约 2 tok/s，已经相当考验耐心。128K 的上下文窗口确实够大，但用起来代价不小：填满之后总内存占用会攀升到约 54 GB，所以除非你有 48 GB 以上的配置，否则建议把实际工作上下文控制在适中范围，把完整窗口留给偶尔处理的长文档。

和当下这一批模型相比，它已经显出 2024 年的年纪。相关列表里的 Qwen 3.5 与 3.6 35B-A3B 都是 MoE 架构，整体上感觉更快，在推理和代码方面也更强，而这两点本来就不是 Command R 的重心。它最突出的特质，依旧是 Cohere 为它打造的核心能力：带引用、有据可依的检索增强对话，回答更倾向于贴着原始资料、而不是自由发挥。但有一条硬性提醒：它的权重采用 CC-BY-NC 许可，也就是仅限非商业用途。你可以用它做个人项目和研究，但不能把它用于产品或任何付费服务中。