Mellum 2 12B-A2.5Bは動く？

Mellum 2 は JetBrains が開発したコーディング特化モデルで、mixture-of-experts (MoE) 構成です。パラメータは合計 12B ですが、1 トークンあたりアクティブになるのは約 2.5B だけ。ここにこの設計の狙いがあります。体感速度はおよそ 2-3B クラスのモデルに近い一方で、12B 全体はメモリに保持し続けるため、アクティブ数の少なさに惑わされないでください。4-bit 量子化ではサイズが約 7.3 GB に収まり、実用上の下限はおよそ 12 GB RAM です。RTX 3060 のような 12 GB のカードや、Apple Silicon Mac のユニファイドメモリには収まりますが、8 GB ではかなり厳しいです。JetBrains の IDE に常駐していてローカルでのコード補完が欲しいなら、まさにあなた向けのモデルです。

日常的な使用では MoE 設計が効いてきます。サイズから想像するよりずっと速く感じられるのです。RTX 3060 12GB の 4-bit では毎秒およそ 202 トークンが見込め、RTX 4090 なら 565 を超えてきます。つまり、次の行を打ち終える前に補完が表示されるくらいの領域です。128K のコンテキストはコーディングモデルとしては実際に広く、ファイル全体やリポジトリ一式のヘッダーを流し込むのに便利ですが、タダではありません。フルまで埋めると総メモリは約 27.4 GB まで上がり、これは単一の 12 GB カードに収まる範囲をはるかに超えます。したがって 24 GB の GPU や潤沢なユニファイドメモリがない限り、作業時のコンテキストは控えめに保ってください。

スコープははっきりさせておく価値があります。これはコーディングの専門家であって、汎用アシスタントではありません。チャットや推論、画像を含む作業には、Gemma 4 12B のようにより守備範囲の広い 12B のほうが概してうまく対応してくれますし、オープンな会話なら Mistral Nemo 12B のほうがたいてい扱いやすい選択肢です。Mellum 2 の際立った強みは、補完系タスクにおけるあの MoE の速度対サイズ比と、あなたのエディタを作っている当人たちによる一級の IDE 統合です。ライセンスは簡単な部類で、Apache 2.0 なので、法的な心配をせずに商用でも本番環境でも使えます。主な仕事がコードで 12 GB のカードを持っているなら、強力で高速なローカルの選択肢になります。