Могу ли я запустить QwQ 32B?

QwQ 32B от Alibaba — это специалист по рассуждениям, а не обычная чат-модель, и это важно понимать ещё до загрузки. Это плотная модель на 32.8B параметров, которая «думает вслух», выстраивая длинные цепочки рассуждений перед ответом: она сильна в математике и многошаговых задачах, но медленна и многословна для коротких вопросов. В 4-битной квантизации она занимает около 19.9 GB, поэтому RTX 3060 с 12 GB её попросту не вместит. Чтобы вообще запустить модель, реально нужно 32 GB системной или единой памяти — это уровень рабочей станции, GPU на 24 GB или старших Apple Silicon, а не типичной игровой видеокарты.

В повседневной работе она ощущается обстоятельной, а не быстрой. На RTX 4090 в 4-битном режиме можно рассчитывать примерно на 43 токена в секунду, и это звучит неплохо, пока не вспомнишь, что модель тратит большую часть токенов на рассуждения до самого ответа, так что один сложный запрос может выполняться долго. На Apple M Max скорость падает примерно до 18 токенов в секунду, а на CPU с DDR5 еле ползёт около 3 токенов в секунду. Контекст 128K настоящий, но при выходе на предел общий объём памяти доходит примерно до 51.6 GB — это намного выше порога в 32 GB, поэтому держите рабочий контекст умеренным, если у вас нет запаса.

В сравнении с DeepSeek R1 32B, другой плотной 32B-моделью для рассуждений из этого набора, обе близки по объёму памяти и назначению, и победитель зависит скорее от конкретной задачи, чем от какого-то однозначного преимущества, так что стоит попробовать обе. Если у вас всего пара гигабайт, крошечные чат-модели Qwen 3 0.6B или 1.7B — это совсем другой инструмент: годятся для быстрых ответов, но не для глубоких рассуждений, под которые создана QwQ. Главное достоинство QwQ — пошаговые рассуждения уровня топовых моделей при размере, который можно развернуть у себя, а лицензия Apache 2.0 позволяет использовать её в коммерческих проектах бесплатно и без лицензионных ограничений.