Могу ли я запустить GPT-OSS 120B?

GPT-OSS 120B — это крупный релиз OpenAI с открытыми весами для тех, кому нужна chat- и reasoning-модель уровня frontier, работающая целиком на собственном железе. В основе лежит архитектура mixture-of-experts: при полном размере в 116.8B параметров на каждый токен активны лишь около 5.1B. Именно этот приём держит модель быстрой для её масштаба, но не обманывайтесь насчёт памяти — держать в RAM всё равно приходится всю модель целиком. При 4-битной квантизации это примерно 71 GB, и для комфортной работы желательно иметь около 96 GB системной памяти. Это точно не модель для ноутбучного GPU.

На практике это значит, что ни RTX 3060, ни даже 4090 её попросту не вместят, так что реальные варианты — это машина на Apple Silicon с большим объёмом памяти или CPU-сервер с большим RAM. На M-series Max можно рассчитывать примерно на 113 tok/s, что для модели такого размера ощущается по-настоящему отзывчиво. На CPU с DDR5 вы опускаетесь до примерно 16 tok/s — годится для пакетных задач, но медленно для интерактивного чата. Окно контекста в 128K щедрое, но его заполнение поднимает суммарную память примерно до 127 GB на максимальном контексте, так что закладывайте запас, а не считайте этот потолок своим обычным рабочим объёмом.

На фоне конкурентов GPT-OSS 120B сильно смещена в сторону чата и рассуждений, а не кода или работы с изображениями, поэтому что-то вроде Mistral Small 4 119B обычно даёт больше универсальности, если в том же объёме памяти вам нужен код или ввод картинок. Её младший собрат, GPT-OSS 20B, — это то, к чему стоит обратиться, когда 96 GB RAM недостижимы. Но главное преимущество здесь — лицензия: Apache 2.0 означает, что вы можете использовать модель коммерчески и в продакшене без каких-либо обязательств перед провайдером, что редкость на этом уровне возможностей и реальный повод выбрать именно её.