Могу ли я запустить Command R 35B?

Command R 35B — это рабочая лошадка Cohere для RAG и чата, и она требует от железа заметно больше, чем модели на 7-8B, с которых начинает большинство. В 4-битном кванте она весит около 21 GB, поэтому RTX 3060 с 12 GB сразу отпадает, а чтобы загрузить её с запасом, нужно минимум 32 GB системной RAM. Реалистичный вариант — видеокарта на 24 GB вроде RTX 4090 или Mac на Apple Silicon с большим объёмом унифицированной памяти. Опускаться до 2-битного кванта (около 15 GB) стоит только если вы реально стеснены в ресурсах и готовы смириться с просадкой качества.

В повседневной работе она скорее стабильная, чем шустрая. На RTX 4090 в 4-бите можно рассчитывать примерно на 40 токенов в секунду — это быстрее, чем вы успеваете читать; на M-series Max выходит около 16 tok/s, пользоваться можно, но заметно неспешнее; а на CPU с DDR5 вас ждут примерно 2 tok/s, и это уже территория, испытывающая терпение. Контекстное окно в 128K действительно большое, но дорогое в использовании: заполните его — и суммарный объём памяти подскакивает примерно до 54 GB. Так что, если у вас нет сборки на 48 GB и выше, держите рабочий контекст умеренным, а полное окно приберегите для редких длинных документов.

На фоне нынешнего поколения модель показывает свой возраст образца 2024 года. Модели Qwen 3.5 и 3.6 35B-A3B из связанного списка — это MoE-архитектуры, которые в целом ощущаются быстрее и сильнее в рассуждениях и коде, а на этом Command R никогда не делала упор. Её фирменная черта остаётся той, ради которой Cohere её и строила: grounded retrieval-augmented чат с цитированием источников, где она склонна держаться источника, а не уходить в сторону. Но есть одно жёсткое предостережение: веса под лицензией CC-BY-NC, то есть только некоммерческое использование. Запускать её для личных проектов и исследований можно, но нельзя поставлять в продукте или любом платном сервисе.