Mistral 7Bは動く？

Mistral 7B は、小さなオープンウェイト LLM でも実用になることを最初に証明したモデルであり、軽量なローカルチャットアシスタントが欲しい人にとって今なお理にかなった選択肢です。4-bit 量子化(クォンタイズ)なら約 4.4 GB に収まるため、8 GB の GPU にも余裕を残して載りますし、Apple Silicon の Mac ならどれでもユニファイドメモリ内で問題なく動きます。古いハードウェアに押し込みたい場合は、約 3 GB の 2-bit ビルドという選択肢もあります。ライセンスは Apache 2.0 で最も寛容な部類に入り、商用利用も無料、プロバイダー側の制約は一切ありません。

日常用途では、チャットや短い要約に対して高速で安定しています。RTX 4090 では 4-bit でおよそ 196 トークン/秒(tok/s)を出し、控えめな RTX 3060 12GB でも約 70 tok/s を保ち、これは読むより速い水準です。M シリーズの Max なら 80 tok/s 前後になります。32K のコンテキストウィンドウは快適ですが巨大とまではいかず、ウィンドウを最後まで埋めるとメモリ合計が約 8.4 GB まで増えます。そのため余裕のない 8 GB のカードでは、ウィンドウいっぱいに詰め込むより、作業コンテキストを控えめに保つのが賢明です。

正直に言うべき注意点は、その年齢です。2023 年末のリリースで、より難しい推論や指示追従では新しい小型モデルに後れを取ります。メモリに余裕があるなら、より長く負荷の高いプロンプトは Mistral Nemo 12B のほうがたいてい上手にこなします。特にコーディング用途では、同程度のサイズで Qwen 2.5 Coder 7B のほうが強い選択肢になります。それでも Mistral 7B が依然として勝るのは、シンプルさと入手のしやすさです。極めて小さく、Apache 2.0 のもとで完全にオープンで、Ollama のシンプルな 'mistral' タグの背後には何年分ものツールエコシステムが蓄積されています。これが、信頼でき意外性のない出発点にしてくれます。