Могу ли я запустить Qwen3-Next 80B-A3B?

Qwen3-Next 80B-A3B — это mixture-of-experts модель от Alibaba, и главная цифра здесь обманчива, но в хорошем смысле: всего у неё 80B параметров, однако на каждый токен задействуется лишь около 3B. То есть генерирует она со скоростью крошечной модели, опираясь при этом на знания большой. Загвоздка — в памяти. Держать в RAM или VRAM всё равно приходится модель целиком, поэтому даже в 4-битной квантизации на ~48.5 GB вам нужно минимум 64 GB, чтобы её запустить. Это сразу исключает одиночные потребительские GPU и отправляет вас к машине с большим объёмом памяти.

На практике это модель для Apple Silicon или рабочей станции, а не для игровой видеокарты. На M Max с достаточным объёмом единой памяти она выдаёт примерно 192 токена в секунду — по-настоящему быстро для модели класса 80B, и это главная причина, по которой её берут. RTX 3060 на 12 GB или RTX 4090 на 24 GB её попросту не загрузят. На CPU с DDR5 запустить тоже можно, около 28 токенов в секунду — медленнее, но для пакетных задач вполне рабочий вариант. Контекст 256K реальный, но прожорливый: при приближении к 128K общий расход памяти может дойти примерно до 95.8 GB, так что заранее закладывайте запас.

В сравнении с Llama 3.1 70B — очевидным dense-аналогом — Qwen3-Next ощутимо быстрее для своего размера, потому что на каждом шаге активны лишь 3B параметров, тогда как Llama вынуждена прогонять все 70B. По качеству в чате и рассуждениях она конкурентна, хотя на самых сложных многошаговых запросах dense-модели на 70B порой всё же выигрывают. Её ключевое достоинство — именно это соотношение скорости и размера: широта большой модели при задержке маленькой, если у вас хватает памяти, чтобы её разместить. Лицензия — Apache 2.0, так что использовать её можно свободно, в том числе коммерчески и в продакшене, без привязанных к провайдеру ограничений.