Ministral 3 8Bは動く？

Ministral 3 8B は、小型で何でもこなすローカルモデルに対する Mistral の2025年後半の回答で、チャットとビジョンの両方を同じ 8B のパッケージで処理します。4-bit 量子化ではおよそ 4.9 GB に収まるため、8 GB の GPU に余裕をもって載りますし、Apple Silicon Mac ならユニファイドメモリの中で快適に動作します。最低 8 GB という RAM の数字は重み単体に対する正直な値で、これによりワークステーションを用意しなくても、ノート PC や中古の安価な GPU でも現実的に選べるモデルになっています。

日常的に使うと動作は軽快に感じられます。RTX 3060 では 4-bit でおよそ 63 tok/s が期待でき、4090 ならおよそ 177、M シリーズの Max では 72 前後で、いずれもストリーミングされる応答を読む速度より速いです。目玉は 256K のコンテキストウィンドウですが、これはデフォルトではなく上限と捉えてください。128K のコンテキストではメモリ使用量の合計がおよそ 21.7 GB まで上がり、8 GB のカードが扱える範囲をはるかに超えます。長いウィンドウを支えるだけの VRAM がない限り、作業に使うコンテキストは数千トークンに抑えておきましょう。

兄弟モデルと比べると、ちょうど中間に位置します。より大きなモデルを動かせるなら、Mistral Nemo 12B のほうが難しい推論への余力が一般に大きく、メモリが厳しい場面では Mistral 7B がより軽量な代替になります。Ministral 3 8B の際立った特徴は、同じ小さなフットプリントの中にビジョンが収まっている点で、より重いマルチモーダルモデルに乗り換えることなく画像理解が得られます。ライセンスは Apache 2.0 で提供されており、プロバイダー固有の制約なしに商用利用も本番環境での利用も可能です。これだけの能力を持つモデルとしては、本当にクリーンなライセンスと言えます。