Mistral Small 4 119Bは動く？

Mistral Small 4 119B はこのファミリーの中でも変わり種です。名前に「small」と付いていますが、実際には合計119Bパラメータを持つmixture-of-expertsで、トークンごとにアクティブになるのはそのうち6.5Bだけです。この設計のおかげで、アクティブなサイズの割に速度面で実力以上の働きをしますが、メモリ上ではモデル全体ぶんのコストを支払うことになります。4-bitでおよそ72 GBに収まり、これを保持するにはおよそ96 GBのRAMが必要です。コンシューマー向けGPUでこのモデルが載るものはありません。12 GBのRTX 3060はもちろん、24 GBのRTX 4090でも容量が足りません。これはワークステーション、あるいは大容量のunified-memoryマシン向けのモデルであり、ノートPC向けの選択肢ではありません。

日常的な利用では、このMoEの仕組みが肝心なところで効いてきます。高メモリのApple M Max上では毎秒およそ88トークンで動作し、これだけ大きなモデルとしては会話として成立するテンポに感じられます。DDR5を積んだCPUでも、辛抱できるなら毎秒およそ13トークンは出ます。256Kというコンテキストは数字の上では十分に思えますが、メモリには注意が必要です。128Kコンテキストでは合計のフットプリントがおよそ128.6 GBまで膨らむため、長いウィンドウが現実になるのは、それを支えるRAMがある場合に限られます。フルコンテキストは無料の設定ではなく、ハードウェア予算の問題として捉えてください。

同じ系譜の中で見ると、96 GBを用意できない場合はMistral 7BやNemo 12Bがチャット専用の軽量な選択肢になります。一方このモデルは、推論・コーディング・ビジョンで総じて頭ひとつ抜けており、これらは前者2つがまったく扱えない領域です。ここでの最も近い競合は、同じ重量級の大型MoEであるNemotron 3 Super 120B-A12Bで、両者はどちらかが明確に勝つというより、互いに一進一退で点を取り合う傾向にあります。特筆すべきは、4タスク対応のモデル(chat、reasoning、coding、vision)を本物のApache 2.0ライセンスのもとで手にできる点です。つまり商用・本番利用が完全に許可されており、プロバイダー独自の条件に縛られることはありません。