GPT-OSS 20Bは動く？

GPT-OSS 20B は OpenAI のオープンウェイトな推論モデルです。まず押さえておきたいのは、これが mixture-of-experts である点です。総パラメータは 20.9B ですが、トークンごとに有効になるのはわずか 3.6B です。そのため同規模の dense な 20B モデルよりはるかに高速に動作しますが、それでもモデル全体をメモリに載せておく必要があります。4-bit 量子化ではおよそ 12.7 GB に収まり、現実的な下限は約 24 GB の RAM です。RTX 3060 のような 12 GB のカードには載らないため、実質的には 4090 のような 24 GB の GPU か、unified メモリを潤沢に積んだ Apple Silicon Mac が候補になります。

日常的な使用ではサイズの割に速く感じられ、これが MoE の利点です。RTX 4090 では毎秒およそ 393 トークン、M シリーズの Max チップではおおよそ 160 tok/s が見込め、いずれも読む速度を十分に上回ります。DDR5 で CPU のみの場合は約 23 tok/s まで下がり、バッチ処理には使えますが対話的なチャットには向きません。128K のコンテキストウィンドウは余裕がありますが、まさにこの部分が静かにメモリを消費します。最後まで埋めると、KV キャッシュを読み込んだ後の合計使用量は約 38.5 GB まで上昇します。余裕がない限り作業中のコンテキストは控えめに保つか、約 8.8 GB の q2 ビルドに下げてください。

コーディングよりもチャットや推論を想定して作られているため、プログラミング用途では Codestral 22B のようなモデルの方が概して向いており、ビジョンも欲しい場合は Mistral Small 3.1 24B が選択肢になります。際立った特長は、3.6B のアクティブパラメータというコストで得られる推論品質です。さらに余裕が欲しい場合は、上位の GPT-OSS 120B が同じレシピをスケールアップしています。ライセンスは Apache 2.0 なので、商用利用や production を含めて本当に自由に使え、プロバイダー固有の制約は一切ありません。