Могу ли я запустить GPT-OSS 20B?

GPT-OSS 20B — это open-weight модель рассуждений от OpenAI, и главное, что нужно понимать: это mixture-of-experts. Из 20.9B параметров на каждый токен активируется лишь 3.6B. Поэтому она работает заметно быстрее, чем плотная модель на 20B, но держать в памяти всё равно приходится всю модель целиком. В 4-битной квантизации это около 12.7 GB, а практический минимум — примерно 24 GB RAM. На карту с 12 GB вроде RTX 3060 она не помещается, так что реально нужен GPU на 24 GB, например 4090, либо Mac на Apple Silicon с большим объёмом unified-памяти.

В повседневной работе для своего размера она ощущается шустрой — это и есть выигрыш от MoE. На RTX 4090 можно рассчитывать примерно на 393 tok/s, на чипе M-серии Max — около 160 tok/s, и то и другое заметно выше скорости чтения. Только на CPU с DDR5 скорость падает примерно до 23 tok/s: годится для пакетных задач, но не для интерактивного чата. Окно контекста в 128K щедрое, но именно оно незаметно съедает память: заполните его полностью — и общее потребление вырастает примерно до 38.5 GB, когда загружен KV-кэш. Держите рабочий контекст умеренным, если нет запаса, или переходите на сборку q2 около 8.8 GB.

Модель заточена под чат и рассуждения, а не под код, поэтому для программирования обычно лучше подойдёт что-то вроде Codestral 22B, а Mistral Small 3.1 24B — выбор, если вам нужно ещё и зрение. Её сильная сторона — качество рассуждений при затратах всего в 3.6B активных параметров, а если нужен запас побольше, старший вариант GPT-OSS 120B масштабирует тот же рецепт. Лицензия — Apache 2.0, так что модель действительно свободна в использовании, в том числе коммерчески и в продакшене, без привязки к конкретному провайдеру.