Mistral Nemo 12Bは動く？

Mistral Nemo 12B は、8B では少し物足りないが、コンシューマー向け GPU 1 枚に収めたいときに選びたいモデルです。Mistral AI による 12.2B の密結合チャットモデルで、4-bit 量子化なら約 7.4 GB に収まり、RTX 3060 のような 12 GB カードにコンテキスト用の余裕を残してきれいに載ります。ロードに必要な最小 RAM は 12 GB 前後なので、16 GB 以上の Apple Silicon Mac なら快適に動き、ほかに手段がなければ CPU でも何とか動かせます。

日常的に使うと、行儀のよい汎用アシスタントという印象です。チャット、要約、書き換えのいずれも安定しており、小型モデルにありがちな時折の不安定さがありません。RTX 3060 では 4-bit でおおむね 41 トークン/秒、M シリーズの Max なら約 47 トークン/秒が見込め、どちらも読む速度を上回ります。128K のコンテキストウィンドウは本物ですが、タダではありません。これを完全に埋めると合計メモリは約 27.7 GB まで増え、12 GB カード 1 枚の容量を大きく超えます。そのため、24 GB の GPU や潤沢なユニファイドメモリがない限り、作業コンテキストは控えめに保つのが無難です。

近隣のモデルと比べると、Mistral Small 3.1 24B は難しい推論で総じて優勢で、さらに画像入力に対応します。Gemma 3 12B は同等サイズの選択肢で、Nemo が備えない画像入力が欲しい場合の候補になります。Nemo の際立った長所はそのスイートスポットです。チャット特化の 12B でありながら主流の GPU 1 枚に収まり、Apache 2.0 で配布されているため、商用利用も本番環境での利用も制約なく行えます。ローカルで素直に動き、ライセンスの心配が一切ない有能なテキストアシスタントが欲しいなら、これは手堅い選択です。