DeepSeek R1 7Bは動く？

DeepSeek R1 7B は推論を最優先に設計されたモデルで、ただ会話を返すのではなく、問題を一歩ずつ考え抜くように作られています。4-bit では約 4.6 GB に収まるため、8 GB の GPU に載りますし、Apple Silicon の Mac ならどの機種でもユニファイドメモリの範囲内に収まります。公称の最小要件は 8 GB の RAM で、これは自前でホストできる推論モデルとしてはかなり手を出しやすい部類です。数学や論理、複数ステップの質問に対して、当て推量ではなく考える過程を示してくれるローカルアシスタントが欲しいなら、この 7.6B パラメータは理にかなった選択肢です。

日常的に使ううえで一番の特徴はその推論スタイルです。最終的な答えの前に思考の連鎖を書き出すため、トークンは消費しますが、難しいプロンプトではたいてい結果がより安定します。この用途に対して速度も十分快適です。RTX 3060 12GB では約 66 tok/s、M シリーズの Max では 76 tok/s 前後が見込め、目に見える思考過程が待たされている感覚を与えないだけの速さがあります。128K のコンテキストは本物ですが代償も大きく、これを埋めると合計メモリは約 21 GB まで膨らみ、8 GB のカードを大きく超えてしまいます。24 GB の GPU を持っていない限り、実際に使うコンテキストは控えめに保つのが賢明です。

正直に位置づけるなら、このモデルは汎用的な会話の洗練さを犠牲にして熟考を取りに行ったものです。作業の大半がコードなら、同じサイズの Qwen 2.5 Coder 7B のほうがおおむね適しているでしょう。際立った長所は、小型のマシンでも実際に動かせるフットプリントで「デフォルトで推論する」挙動を備えている点です。物足りなくなったら、DeepSeek R1 8B が自然なステップアップ先になります。ライセンスは MIT なので、プロバイダー固有の制約なしに商用利用も本番環境での利用も自由にできます。これほどの実力を持つモデルとしては珍しいことです。