DeepSeek R1 70Bは動く？

DeepSeek R1 70B は、手早いチャット用アシスタントではなく、思考の連鎖（chain-of-thought）による推論を自分のハードウェア上で完全に動かしたいときに選ぶモデルです。4-bit でおよそ 42.8 GB あり、最低でも 64 GB 前後の RAM を必要とするため、コンシューマー向け GPU 単体では端から無理で、RTX 3060 12GB はもちろん RTX 4090 24GB にも収まりません。現実的な置き場所は、ユニファイドメモリを潤沢に積んだ Mac か、64 GB 以上を備えたワークステーションで、そこなら全ウェイトが実際にメモリ上に常駐できます。気軽にダウンロードするものではなく、本気の投資です。

日常的に使ううえで正直に言えば、遅いです。Apple M-Max でおよそ 8 トークン/秒、DDR5 を積んだ CPU では約 1 トークン/秒まで落ち込むため、応答は良くて読む速度、悪ければ這うようなペースで届きます。R1 は答える前に声に出して考えるため、トークンの多くが目に見える推論に費やされ、1 回の応答にもそれなりの時間がかかります。128K のコンテキストは用意されていますが、これを埋めると合計メモリは約 87.5 GB に達し、64 GB の下限をはるかに超えるので、余裕がない限り実際に扱うコンテキストは控えめに保ってください。

同じファミリー内での比較は分かりやすく、DeepSeek R1 7B やごく小さな 1.5B ははるかに高速でひかえめなハードウェアにも収まりますが、この 70B はより難しい多段階の推論で総じて踏みとどまり、小型の蒸留版が筋を見失いがちな場面でも持ちこたえます。チャット向けにチューニングされた Llama 3.1 70B と比べると、R1 70B の際立った特徴は明示的な推論スタイルで、自由な会話よりも数学や論理の問題に向いています。ライセンスは簡単な部分で、MIT なのでプロバイダー固有の制約なしに商用利用や本番環境での利用が可能です。ただし、メモリと待ち時間の分はしっかり見込んでおいてください。