Могу ли я запустить Qwen 3.6 35B-A3B?

Qwen 3.6 35B-A3B построена по схеме mixture-of-experts, и именно это определяет, кому она нужна. В модели 35B параметров суммарно, но на каждый токен активируется лишь 3B, поэтому она работает со скоростью крошечной модели, но требует памяти как у большой. В 4-битной квантизации веса занимают около 21.2 GB, однако чтобы держать весь набор экспертов, модели всё равно нужно минимум примерно 32 GB RAM. Это исключает карту на 12 GB вроде RTX 3060 — туда она просто не помещается. Естественная среда для неё — RTX 4090 на 24 GB или Mac на Apple Silicon с большим объёмом unified memory.

В повседневной работе ставка на активные 3B окупается: на 4090 можно увидеть около 471 tok/s, а на M-series Max — около 192, что быстрее большинства плотных моделей втрое меньшего размера. Даже инференс на CPU с DDR5 выдаёт порядка 28 tok/s — пригодно для пакетных задач. Модель тянет чат, рассуждения, написание кода и работу с изображениями, так что вполне оправдывает себя как единственная локальная модель «на все случаи». Контекстное окно в 256K щедрое, но загвоздка в памяти: заполнение всего 128K уже поднимает общий объём примерно до 53.8 GB, поэтому для длинного контекста нужна машина на 64 GB, а не карта на 24 GB.

В сравнении с плотной Command R 35B из родственной линейки эта MoE при том же номинальном размере ощущается заметно быстрее: вы платите памятью за 35B, а считаете как 3B. Расплата стандартная для MoE: плотная модель на 35B иногда способна вырваться вперёд в самых сложных рассуждениях с одного захода, хотя для большинства задач выигрывает скорость. Её главная черта — именно это соотношение скорости и возможностей плюс встроенное зрение в одном пакете. Лицензия — Apache 2.0, так что вы вольны использовать её коммерчески и в продакшене без каких-либо ограничений со стороны провайдера.