Magistral Small 1.2は動く？

Magistral Small 1.2 は Mistral の 24B パラメータの推論モデルで、ただ会話するだけでなく、多段階の問題を実際に考え抜くローカルアシスタントが欲しい人に向いています。ビジョンや一般的な会話もこなしますが、これを選ぶ本当の理由は推論能力です。まず計画すべきはメモリ使用量で、4-bit 量子化ではおよそ 14.6 GB まで下がり、余裕を持って動かすにはおよそ 24 GB のメモリが必要です。これにより RTX 3060 のような 12 GB のカードは対象外となり、そもそも収まりません。24 GB の GPU か、メモリ容量の大きい Apple Silicon の Mac へと向かうことになります。

RTX 4090 では毎秒およそ 59 トークンで生成され、ステップごとの推論が待ち時間のように感じられることはまずありません。M シリーズの Max では毎秒 24 トークンに近く、インタラクティブな用途には十分実用的です。一方、DDR5 上の CPU のみでは毎秒およそ 4 トークンまで落ち、バッチ処理には使えてもライブのチャットには向きません。128K のコンテキストは本物ですが、メモリを大量に消費します。これを使い切ると合計使用量はおよそ 42.1 GB まで膨らみ、単一の 24 GB カードが収められる量をはるかに超えます。十分なメモリの余裕がなければ、作業用のコンテキストは控えめに保ってください。

兄弟モデルと比べると、主にチャット用途でメモリに余裕を割けないなら、Mistral Nemo 12B のほうが軽量で高速な選択肢です。一方 Gemma 4 26B A4B は同程度のサイズで、推論・コーディング・ビジョンにおいてより直接的な競合となることが多いです。Magistral の際立った特長は、完全に自分のものにできるモデルでありながらこの推論への注力がある点です。Apache 2.0 ライセンスは、プロバイダー由来の制約なしに商用かつ本番環境で利用できることを意味し、これは有能な 24B の推論モデルとしては珍しいことです。これを動かすための 24 GB があるなら、現状入手できるローカルの思考モデルの中でも最も本格的なものの一つです。