Могу ли я запустить Qwen3 Coder Next 80B-A3B?

Qwen3 Coder Next 80B-A3B — это специализированная модель для кода, построенная по схеме Mixture-of-Experts, и именно архитектура здесь определяет всё. В ней 80B параметров суммарно, но на каждый токен активируется лишь 3B, поэтому она работает заметно быстрее, чем подсказывает её размер, при этом память всё равно нужна под полную модель. В 4-битном формате она занимает около 48.5 GB, что исключает любую потребительскую видеокарту: модель не помещается в 24 GB RTX 4090, не говоря уже о 12 GB 3060. Реальный дом для неё — Mac на Apple Silicon с большим объёмом унифицированной памяти или рабочая станция с 64 GB и более системной RAM. Ориентируйтесь на минимум в 64 GB, а не на активные 3B.

В повседневной работе схема MoE окупается. На Apple M Max модель выдаёт примерно 192 токена в секунду — это ощущается мгновенно при автодополнении и рефакторинге кода, и даже чистый CPU-инференс на DDR5 держит около 28 токенов в секунду: медленно, но для модели такого размера вполне пригодно. Контекстное окно в 256K — главная фишка для работы с целыми репозиториями, но загвоздка в памяти: при контексте 128K общий объём вырастает примерно до 95.8 GB. Держите это в уме, прежде чем загружать огромную кодовую базу, потому что именно KV-кэш, а не веса, столкнёт вас за грань на машине с 64 GB.

На фоне плотных альтернатив в своём весовом классе, таких как Llama 3.1 70B, эта модель обычно меняет широкий охват на узкую заточку под код и скорость: маршрутизация MoE означает, что она отвечает быстрее плотной модели на 70B, специализируясь именно на коде, а не на общении общего назначения, где лучше подойдут меньшие чат-варианты Qwen 3. Её главная отличительная черта — как раз это соотношение скорости и размера: почти мгновенная генерация от модели класса 80B. А практический бонус — лицензия: Apache 2.0, так что вы можете свободно использовать её в коммерческих и продакшен-проектах без специфичных для провайдера ограничений, которые пришлось бы вычитывать заранее.