Mistral Small 3.1 24Bは動く？

Mistral Small 3.1 24B は、8B モデルでは難しいプロンプトに物足りなさを感じるものの、70B まで上げたくはない、というときに選ぶモデルです。24B のチャット兼ビジョンモデルなので、テキストだけでなく画像も読み取れます。ライセンスは Apache 2.0 で、商用利用も本番投入も制約なしで可能です。ネックになるのはフットプリントで、4-bit 量子化でおよそ 14.6 GB、快適に動かすにはメモリが約 24 GB ほしいところです。これにより RTX 3060 のような 12 GB のカードでは収まらず除外され、24 GB の GPU か、ユニファイドメモリを潤沢に積んだ Apple Silicon Mac が現実的な選択肢になります。

RTX 4090 のような 24 GB のカードでは 4-bit でおよそ 59 tokens per second で動き、読む速度より速くストリームされるため、このサイズのモデルとしては実にきびきびと感じられます。M シリーズの Max では 24 tokens per second 前後で、対話的なチャットには依然として十分実用的です。DDR5 上の CPU のみだとおよそ 4 tokens per second まで落ち、夜間のバッチ処理には向きますが、その場で待つ用途には不向きです。128K のコンテキストウィンドウは本物ですが、コストがかさみます。最後まで埋めると総メモリは約 42 GB まで上がり、短いコンテキスト時にモデルが必要とする量を大きく超えるため、余裕がない限り作業用コンテキストは控えめに保つのが賢明です。

同じファミリー内では本機がヘビー級です。メモリに制約があるなら、より軽量で高速な Mistral Nemo 12B が選択肢になり、Mistral 7B は最低限の選択肢ですが、いずれも難しい推論や指示追従では Small 3.1 に及びません。素の能力で最も近い競合は Gemma 4 26B A4B で、コーディングと推論の強みを備えるため、これらのタスクが重要なら両者を比較してください。Small 3.1 の際立った特長は、めったに同時には得られない組み合わせ、すなわちネイティブのビジョン、長いコンテキスト、そして完全に寛容な Apache 2.0 ライセンスを兼ね備えている点で、これにより実際にプロダクトへ投入しやすい高性能モデルの一つになっています。