Devstral Small 2 24Bは動く？

Devstral Small 2 は Mistral の 24B コーディングモデルで、名前から受ける印象以上にハードウェアを要求します。4-bit 量子化では重みが約 14.6 GB になるため、多くの人が持つ 12 GB のカードでは足りません。RTX 3060 ではそもそも載りきりません。快適に動かすには現実的に 24 GB のメモリが欲しく、つまり 4090 のような 24 GB GPU か、少なくとも 24 GB のユニファイドメモリを積んだ Apple Silicon Mac が必要になります。2-bit 量子化まで落とせば約 10.1 GB まで縮みますが、丁寧なコード生成こそが存在意義のモデルにとって、これは品質面で大きな代償です。

4090 上では 4-bit で毎秒およそ 59 トークンが見込め、ファイルを読み、計画を立て、編集するエージェント型のコーディングループには十分に快適です。M シリーズの Max では 24 tok/s 近くに落ち着き、対話的な作業には使えるものの、長い生成では速度の差を実感します。256K というコンテキストの数字は本物で、リポジトリ全体を丸ごと与えるのに役立ちますが、コストには正直であるべきです。ファクトシートによれば 128K でも総メモリは約 42.1 GB に達し、単一の 24 GB カードを大きく超えます。大きなコンテキストは常時開きっぱなしの既定値ではなく、意図して使う手段と捉えてください。

兄弟モデルと比べると、Devstral は本格的な作業向けの選択肢です。Mistral 7B や Mistral Nemo 12B はより軽量でホストしやすい一方、複数ステップのコーディングタスクでは概して見劣りします。Gemma 4 26B A4B はコーディングと推論で最も近い対抗馬で、メモリに余裕があれば横並びで比較する価値があります。Devstral が際立つのは、一発回答のチャットではなく、ツールを使うエージェント型のコード編集のために作られている点で、その狙いはファイルをまたいで計画を辿る挙動によく表れています。ライセンスは Apache 2.0 なので、商用でも本番環境でも制約なく使えます。これほど高性能なモデルでは稀なことです。