Codestral 22Bは動く？

Codestral 22B は Mistral AI が開発した専用のコーディングモデルで、自由な対話よりもコード補完と生成のために設計されています。パラメータ数は 222 億（22.2B）に達し、多くの人が最初に使う 7B〜12B クラスのモデルから見ると確実に一段大きく、その分フットプリントも増えます。4-bit 量子化でおよそ 13.5 GB、快適に動かすには少なくとも 24 GB の RAM が必要です。そのため RTX 3060 のような 12 GB のカードでは収まらず、現実的には動きません。RTX 4090 のような 24 GB の GPU か、ユニファイドメモリを十分に積んだ Apple Silicon の Mac が実用的な入口になります。

RTX 4090 では 4-bit でおよそ 64 tok/s が見込め、コード補完がほぼ瞬時に感じられる速さです。Apple M シリーズの Max ではこれより低くおよそ 26 tok/s で、インタラクティブな編集には十分使えます。一方 DDR5 上の CPU のみでは約 4 tok/s まで落ち、これは放置できるバッチ処理向けと考えるべきでしょう。コンテキストウィンドウは 32K で、今日の基準では控えめですが、単一ファイルや小規模リポジトリの作業には十分です。これをすべて埋めるとメモリ消費は合計でおよそ 20.1 GB に達するため、24 GB のカードではフルコンテキスト時の余裕はほとんど残りません。

同じ系列の中で見ると、Codestral はスペシャリストです。メモリが乏しい場合は、より軽量で汎用的なチャット向けの Mistral Nemo 12B が選択肢になり、推論や会話では GPT-OSS 20B が概して優位です。Codestral の際立った特長は、多くの言語にわたってコードに特化して学習されている点で、そのため fill-in-the-middle 補完や生成では同サイズの汎用モデルよりも的確に感じられる傾向があります。深刻な注意点はライセンスです。Codestral は Mistral の MNPL という非商用（non-production）ライセンスで提供されており、商用利用やプロダクション製品での使用はできません。あくまで研究および個人利用のためのツールとして扱ってください。