Могу ли я запустить Qwen 3.5 35B-A3B?

Qwen 3.5 35B-A3B — это mixture-of-experts модель с полезным приёмом в основе: из 35B общих параметров на каждый токен активны лишь около 3B. Поэтому она генерирует со скоростью маленькой модели, опираясь при этом на знания большой. Подвох — в памяти. Модель целиком держится в RAM, так что рассчитывайте на полный объём, а не на активную часть. В 4-bit она занимает около 21 GB, и системной памяти нужно минимум 32 GB. RTX 3060 на 12 GB её не вместит, так что на практике это GPU на 24 GB или Apple Silicon с большим объёмом памяти.

Когда модель помещается, архитектура MoE окупается, и для своего класса она ощущается быстрой. На RTX 4090 можно увидеть около 471 tok/s, на Apple M Max — примерно 192, и в обоих случаях ответ опережает ваше чтение. CPU на DDR5 выдаёт около 28 tok/s — медленно, но пригодно для пакетной работы. Модель справляется с чатом, рассуждениями, кодом и зрением, с щедрым окном контекста на 256K. Но к этому потолку относитесь осторожно: при 128K контекста общий объём памяти вырастает примерно до 53.8 GB, так что для длинного контекста нужна по-настоящему большая машина, а не просто та, что вмещает веса.

В сравнении с Command R 35B — плотной моделью того же размера, которую стоит взять для ориентира, — реальная разница не в числе параметров, а в архитектуре MoE: номинальный размер тот же, но Qwen обычно работает заметно быстрее на токен, потому что активны лишь 3B. Именно это соотношение скорости к возможностям — её главная черта: почти мгновенная генерация при объёме знаний на уровне 35B плюс мультимодальная поддержка зрения. Если вы ограничены в памяти и нужен лишь базовый чат, лучше взять меньшие Qwen 3 0.6B и 1.7B. С лицензией всё просто: Apache 2.0 означает, что вы можете свободно использовать модель, в том числе коммерчески и в продакшене, без специфичных условий от поставщика.