OLMo 2 13Bは動く？

OLMo 2 13B は Ai2 による完全オープンなチャットモデルで、その魅力は性能と同じくらい「出自の透明性」にあります。重み、学習データ、レシピのすべてが Apache 2.0 のもとで公開されているため、ライセンス条件を気にすることなく商用利用できます。4-bit 量子化（quant）ではサイズは約 8.3 GB で、オーバーヘッドまで考えると 12 GB のカードにはやや厳しいものの、16 GB の GPU や Apple Silicon Mac のユニファイドメモリなら問題なく動きます。容量が苦しいなら 2-bit ビルドが約 5.7 GB まで下がります。目安として最低でも約 12 GB の RAM を見込んでおきましょう。

日常的に使うと、安定して落ち着いたチャット相手という印象です。RTX 3060 12 GB なら 4-bit で毎秒約 37 トークンが期待でき、読む速度を十分に上回ります。RTX 4090 ならこれが約 103 tok/s まで伸びます。M シリーズの Max は 42 tok/s 前後に落ち着きます。唯一注意すべきなのは 4K のコンテキストウィンドウで、2024-2025 年の基準からすると小さめです。上限まで使ってもモデル全体で必要なのは約 9 GB ほどですが、長い文書や膨大なチャット履歴は切り詰めずには入りきりません。短いやり取り向けのアシスタントと割り切るのが正解です。

同じサイズ帯の中で見ると、OLMo 2 13B は素の実力で先頭を走るというより「オープンデータ重視」の選択肢です。Qwen 3 14B や Phi-4 14B といったモデルは推論や構造化タスクで概して一歩リードしており、長い入力が重要ならどちらもはるかに広いコンテキストウィンドウを備えています。Ministral 3 14B は画像（vision）対応も加わりますが、OLMo にはそれがありません。一方で OLMo がそのどれにも負けない強みは、真にエンドツーエンドのオープン性です。モデルに何が使われているかを正確に把握したい場合や、研究・再現性（reproducibility）の作業をしている場合は、まさにこれを選ぶべきです。Apache 2.0 なので利用上の制約は一切ありません。