Devstral 2 123Bは動く？

Devstral 2 123B は Mistral の大規模な dense コーディングモデルで、ノートPCユーザー向けではなく、本格的なローカルコーディング環境を構築する人のためのモデルです。4-bit でも約 74.6 GB あり、その数字がすべてを物語っています。12 GB の RTX 3060 にも 24 GB の RTX 4090 にも収まりません。余裕を持って読み込むにはおよそ 96 GB のメモリが必要で、現実的には高メモリの Apple Silicon マシンか、潤沢な RAM を積んだワークステーションが前提になります。気軽に試しにダウンロードするモデルではなく、ハードウェアをこのモデルに合わせて計画するタイプのモデルです。

日常利用で正直に言っておくべき注意点は速度です。Apple M Max でおよそ 5 tokens/秒、CPU のみの DDR5 マシンではおよそ 1 tokens/秒まで落ち、対話的なチャットというよりバッチ処理に近い領域です。コードの読み書きは優秀ですが、すべての返信がゆっくりとストリーミングされてくるのを実感するでしょう。コンテキストウィンドウは仕様上 256K と寛大ですが、本当の制約はメモリです。128K コンテキストまで広げるだけで合計約 132 GB を要求するため、96 GB のマシンでは作業用コンテキストを控えめに保ち、短く焦点を絞ったプロンプトに頼ることになります。

related_models にある MoE の Qwen 3.5 122B-A10B と比べると、トレードオフは明確です。あちらはトークンごとに重みの一部だけを活性化するため、同程度のパラメータ数でも概して高速に感じられます。一方 Devstral 2 は 123B のパラメータすべてをトークンごとに動かします。Devstral の強みは、長いコンテキストを備えた Mistral 発の focused かつ dense なコーディング特化モデルである点です（ただしそれを動かすメモリがあればの話です）。ライセンスについて実務的な注意を一つ。本モデルは Modified MIT ライセンスで提供されるため、素の MIT のような自由を前提とせず、商用展開の前に具体的な条項を必ず確認してください。