DeepSeek R1 8Bは動く？

DeepSeek R1 8B は汎用チャット向けの万能モデルではなく、推論を第一に据えたモデルです。ダウンロード前にこの位置づけを理解しておくことが重要です。dense な 8B モデルなので、4-bit 量子化ではおよそ 4.9 GB に収まり、8 GB の GPU にも余裕で載ります。最小 RAM が 8 GB とされているため、そこそこのデスクトップや、ユニファイドメモリを備えた Apple Silicon Mac であれば動かせます。MIT ライセンスは手軽な部分で、プロバイダー側の制約なしに商用でも本番環境でも利用できます。素早く答えるモデルではなく、問題をじっくり考え抜くモデルが欲しいときに選ぶとよいでしょう。

実機での日常利用では、サイズの割に軽快に感じられます。RTX 3060 12GB でおよそ 63 tok/s、M シリーズの Max で 72 tok/s 前後、4090 ならおおよそ 177 tok/s 出るため、ストリーミングが詰まることはありません。DDR5 上の CPU では約 11 tok/s まで落ち、たまの問い合わせには十分ですが、継続的に回す用途には向きません。最も注意すべき点は chain-of-thought の癖です。R1 は考えを声に出すように推論するため、素のチャットモデルよりも速くコンテキストを消費します。128K のウィンドウは本物ですが、それを埋めると合計メモリがおよそ 21.7 GB まで膨らむので、余裕がない限り作業中のコンテキストは控えめに保つのが賢明です。

正直に位置づけるなら、これは小さな箱に詰め込んだ最先端の頭脳ではなく、蒸留された推論モデルです。Llama 3.1 8B と比べると、幅広い会話の洗練さやツール連携の成熟度を犠牲にする代わりに、より強力な段階的推論を提供する傾向があります。さらに軽くしたい場合は、深さと引き換えに、より小さい DeepSeek R1 7B や 1.5B も用意されています。際立った特徴は、その目に見える推論トレースで、作業過程を確認したい数学・論理・デバッグといった場面で実際に役立ちます。主に手早いカジュアルな会話が目的なら、チャット向けに調整された 8B のほうが無難な既定値です。しかし推論できるローカルモデルが欲しいなら、R1 8B はその座に値します。