Могу ли я запустить Qwen 3.5 122B-A10B?

Qwen 3.5 122B-A10B — это крупная mixture-of-experts модель для тех, кто хочет получить чат, рассуждения, программирование и работу с изображениями уровня флагманов прямо на своём железе. Вся суть в архитектуре MoE: из 122B общих параметров на каждый токен активируются лишь 10B, поэтому она генерирует заметно быстрее, чем плотная модель такого же размера. Подвох — в памяти: всю модель всё равно приходится держать в оперативке целиком. В 4-битной квантизации это около 74 GB, а чтобы вообще её загрузить, нужно примерно 96 GB RAM. На практике это означает рабочую станцию с большим объёмом памяти или Mac на Apple Silicon с обширной унифицированной памятью; на 24 GB RTX 4090 она не помещается, не говоря уже о 12 GB карте.

Там, где модель всё же помещается, для своего размера она ощущается на удивление шустрой — спасибо тем самым 10B активных параметров. На M Max можно рассчитывать примерно на 57 токенов в секунду: достаточно быстро, чтобы комфортно читать ответ по мере его вывода, тогда как на машине только с CPU и DDR5 скорость падает примерно до 8 токенов в секунду и больше подходит для пакетной обработки, чем для живого чата. Контекстное окно достигает 256K, но воспринимайте это как потолок. Память растёт вместе с тем, что вы реально заполняете, и при 128K контекста общий объём поднимается примерно до 131 GB, так что цифры по длинному контексту предполагают машину, специально под них собранную.

В сравнении с Devstral 2 123B, у которой почти такое же число параметров, Qwen 3.5, как правило, жертвует узкой заточенностью под код ради широты охвата: она покрывает чат, рассуждения и работу с изображениями в одной модели, а не специализируется на чём-то одном. Эта универсальность и есть её главное достоинство, а младшие версии Qwen 3 0.6B и 1.7B остаются разумным выбором, когда вам нужен лишь лёгкий чат на скромном железе. Лицензия — Apache 2.0, так что использовать её можно коммерчески и в продакшене без ограничений, что для такого уровня возможностей встречается редко и само по себе веский повод предпочесть её более обременённым весам.