GPT-OSS 120Bは動く？

GPT-OSS 120B は、フロンティア級のチャット・推論モデルを自前のハードウェアだけで動かしたい人に向けた、OpenAI の大型オープンウェイトモデルです。Mixture-of-Experts(MoE)構成のため、フルモデルは 116.8B パラメータあるものの、1 トークンあたりアクティブになるのは約 5.1B にすぎません。これがサイズの割に速度を保つ仕掛けですが、メモリ面で誤解しないでください。実行にはモデル全体を RAM に載せる必要があります。4-bit 量子化でおよそ 71 GB、快適に動かすにはシステムメモリで約 96 GB を見込んでおきたいところです。これはノート PC の GPU で動かすモデルではありません。

つまり実際には、RTX 3060 はもちろん 4090 でも単純に載りきらないため、現実的な置き場所は大容量メモリの Apple Silicon マシンか、RAM を多く積んだ CPU マシンになります。M シリーズの Max なら約 113 tok/s が期待でき、このサイズのモデルとしては体感でかなり軽快です。DDR5 の CPU 実行では約 16 tok/s まで落ち、バッチ処理には使えますが対話チャットには遅いと感じるでしょう。128K のコンテキストウィンドウは余裕がありますが、最大まで埋めると合計メモリは約 127 GB に達するため、その上限を通常の作業サイズと見なさず、余裕を持って計画してください。

競合と比べると、GPT-OSS 120B はコーディングやビジョンよりもチャットと推論に大きく振った設計です。同じメモリ規模でコードや画像入力も必要なら、Mistral Small 4 119B のようなモデルのほうが一般的に守備範囲が広くなります。同系統の弟分である GPT-OSS 20B は、96 GB の RAM が用意できない場合に選ぶべき選択肢です。そして何より際立つのがライセンスで、Apache 2.0 は商用利用も本番投入もプロバイダー側の制約なしに認めます。この性能帯では珍しく、これ自体が選ぶ確かな理由になります。