Ministral 3 3Bは動く？

Ministral 3 3B は、「実用的なアシスタントとして成立する最小のモデルはどこまで小さくできるか」という問いに対する Mistral の回答です。3B パラメータという規模で、すでに手元にあるハードウェア上でのチャットと軽量なビジョン処理を想定して作られています。4-bit 量子化版は約 1.8 GB に収まり、本当に余裕がない環境なら q2 ビルドで 1.3 GB まで切り詰められます。最小 4 GB の RAM フットプリントで、エントリークラスのノート PC、古い 4 GB の GPU、あるいはメモリを気にせず使える Apple Silicon Mac でも動作します。より大きなモデルが載らないときに手を伸ばす一台です。

日常的に使ううえで最大の見どころは速度です。RTX 3060 でおよそ 168 tok/s、M シリーズの Max で約 192、4090 では約 471 tok/s に達します。いずれも読む速さをはるかに上回るため、応答は瞬時に返ってくる感覚です。DDR5 の CPU のみでも約 28 tok/s は出るので、バッチ処理には十分使えます。コンテキストウィンドウは 256K と潤沢ですが、これはあくまで上限と捉えるべきです。埋め始めるとコストは急に膨らみ、128K のコンテキストでは総メモリ負荷が約 12.6 GB まで上昇し、モデル本体のフットプリントを大きく超えます。小型マシンでは実作業のコンテキストを控えめに保ってください。

正直なところ、3B では速度と極小フットプリントと引き換えに、ある程度の深さを犠牲にしています。難しい推論や長い指示の連鎖では Mistral 7B のほうが概して安定し、メモリに余裕があれば Mistral Nemo 12B がさらに一歩抜きん出ます。Ministral 3 3B が勝るのは、生のスループットと、チャット専用の大型 Mistral には備わっていないビジョン処理を兼ね備えている点です。ライセンスは Apache 2.0 で提供されるため、制約なしに商用利用できます。高速で無料、何でもこなせる小型モデルを求めるなら、十分にその座に値する一台です。