Command R 35Bは動く？

Command R 35B は Cohere の RAG とチャット向けの主力モデルで、多くの人が最初に触れる 7-8B クラスよりも要求するハードウェアが重くなります。4-bit でおよそ 21 GB あるため、12 GB の RTX 3060 では完全に手が届かず、快適にロードするにはシステム RAM が最低でも 32 GB 必要です。現実的な動作環境は RTX 4090 のような 24 GB クラスのカード、あるいはユニファイドメモリを潤沢に積んだ Apple Silicon の Mac です。2-bit 量子化（約 15 GB）に落とすのは、リソースが厳しく品質低下を受け入れられる場合だけにしてください。

日常的な使い心地は、キビキビというより着実です。RTX 4090 では 4-bit でおよそ 40 トークン/秒が見込め、読む速度より速くストリームされます。M シリーズ Max では 16 tok/s 前後に落ち着き、実用的ではあるものの明らかにゆったりとした印象です。DDR5 を積んだ CPU では概ね 2 tok/s 程度で、これは忍耐が試される領域です。128K のコンテキストウィンドウは確かに大きいですが、使うと高くつきます。これを埋めると合計メモリは約 54 GB まで跳ね上がるため、48 GB 超の構成でない限り、作業用のコンテキストは控えめに保ち、フルウィンドウはたまの長文ドキュメント用に温存するのが賢明です。

現行世代と比べると、2024 年生まれの古さが見えてきます。関連リストにある Qwen 3.5 と 3.6 の 35B-A3B モデルは MoE 設計で、Command R が元々得意としていなかった推論やコーディングで総じて速く強く感じられます。とはいえ Command R の真価は Cohere が作り込んだ用途、すなわち引用付きの根拠ある検索拡張チャット（RAG）にあり、話を逸らさず出典に忠実であり続ける傾向があります。ただし重要な注意点が一つ。重みのライセンスは CC-BY-NC のため、これは非商用限定です。個人プロジェクトや研究で動かすことはできますが、製品や有料サービスに組み込んで提供することはできません。