Devstral 24Bは動く？

Devstral 24B は Mistral AI のコーディング特化モデルで、汎用チャット相手ではなく、ソフトウェア開発のためのローカルエージェントを求める人向けに作られています。24B の dense パラメータを持つため軽量とは言えず、4-bit 量子化で約 14.6 GB、快適に動かすには最低でもおおよそ 24 GB の RAM が必要です。そのため RTX 3060 のような 12 GB のカードでは手が届かず、そもそも載りません。本来の居場所は RTX 4090 のような 24 GB GPU か、ユニファイドメモリを潤沢に積んだ Apple Silicon Mac です。容量が厳しい場合、2-bit ビルドなら約 10.1 GB まで下がります。

RTX 4090 での日常的なコーディング用途では、4-bit で 1 秒あたりおよそ 59 トークンが見込め、生成されたコードを読んでいる間にもスムーズにストリーミングされるだけの速さがあります。Apple の M シリーズ Max では 1 秒あたり 24 トークン前後に落ち着きますが、対話的な作業には十分実用的です。DDR5 上の CPU のみだとおおよそ 4 トークン/秒まで下がり、これは忍耐が要る領域です。128K のコンテキストウィンドウは確かに広いものの、無料ではありません。これを埋めると総メモリは約 42.1 GB まで押し上げられ、モデルの待機時フットプリントを大きく超えます。余裕がない限り、作業コンテキストは控えめに保つのが賢明です。

同系統のモデルと比べると、Devstral 24B はヘビー級です。Mistral 7B や Mistral Nemo 12B ははるかに軽く汎用チャット向けなので、Devstral が動かせないハードウェアでも動きますが、実際のコーディングタスクでは概してそれらを上回ります。より近い比較対象は Gemma 4 26B A4B で、同程度のサイズでコーディングに加えてチャット・推論・ビジョンもこなし、1 つのモデルで何でも済ませたいなら、より万能なジェネラリストになりがちです。Devstral の際立った特長はコードに絞った狭い専門性であり、Apache 2.0 ライセンスのため、商用本番環境を含めて自由に利用できます。