Могу ли я запустить DeepSeek R1 70B?

DeepSeek R1 70B — это модель, к которой вы обращаетесь, когда нужно рассуждение с цепочкой мыслей полностью на собственном железе, а не быстрый помощник для чата. В 4-битной квантизации она весит около 42.8 GB и требует минимум порядка 64 GB оперативной памяти, что сразу исключает одну потребительскую видеокарту: она не поместится ни на RTX 3060 12GB, ни даже на RTX 4090 24GB. Реалистичный дом для неё — Mac с большим объёмом унифицированной памяти или рабочая станция с 64 GB и более, где весь набор весов реально остаётся в памяти. Это серьёзное обязательство, а не загрузка на пробу.

В повседневной работе честный вывод такой: она медленная. На Apple M-Max вы получите примерно 8 токенов в секунду, а на CPU с DDR5 скорость падает примерно до 1 токена в секунду, так что ответы в лучшем случае приходят со скоростью чтения, а в худшем — еле ползут. Поскольку R1 думает вслух перед ответом, значительная часть этих токенов уходит на видимые рассуждения, и один ответ может занять немало времени. Контекст в 128K есть, но его заполнение поднимает общий объём памяти примерно до 87.5 GB — заметно выше планки в 64 GB, поэтому держите рабочий контекст скромным, если только у вас нет запаса.

В сравнении с собственным семейством расклад прямой: DeepSeek R1 7B или крошечная 1.5B работают намного быстрее и помещаются на скромное железо, но эта 70B в целом держится лучше на сложных многошаговых рассуждениях, где меньшие дистилляты склонны терять нить. По сравнению с Llama 3.1 70B, заточенной под чат, отличительная черта R1 70B — именно этот явный стиль рассуждения, который лучше подходит для задач по математике и логике, чем для свободного разговора. Лицензия MIT здесь — самая простая часть: вы можете использовать модель коммерчески и в продакшене без специфичных для провайдера ограничений. Просто заложите в бюджет память и ожидание.