Могу ли я запустить Qwen 3 30B-A3B?

Qwen 3 30B-A3B — это модель с архитектурой mixture-of-experts, и именно этот факт определяет всё, как стоит её воспринимать. На бумаге у неё 30.5B параметров, но на каждый токен активируется лишь 3.3B, поэтому она работает со скоростью крошечной модели, рассуждая при этом с размахом большой. Подвох — в памяти: всю модель всё равно нужно держать в RAM целиком. 4-битная квантизация занимает около 18.5 GB, а самой модели нужно минимум 32 GB, чтобы дышать свободно. Это исключает карту на 12 GB вроде RTX 3060, но комфортно умещается на Mac с Apple Silicon и 32 GB, либо на 24 GB 4090, если держать контекст скромным.

На практике дизайн MoE окупается так, как спецификации недооценивают. На 4090 можно увидеть около 428 токенов в секунду, и даже чип серии M Max остаётся бодрым на уровне примерно 174 tok/s — куда быстрее, чем плотная модель на 30B когда-либо смогла бы на том же железе. Только на CPU с DDR5 скорость падает примерно до 25 tok/s: годится для пакетных задач, но не для интерактивного чата. Контекст 128K реальный, но следите за бюджетом: его заполнение поднимает общий объём памяти примерно до 49.1 GB, поэтому на машине с 32 GB рабочий контекст держат скромным и опираются на квантизацию поменьше, а не гонятся за полным окном.

В сравнении с Gemma 4 31B, у которой почти идентичные 30.7B параметров, размен очевиден. Gemma — плотная и добавляет код и зрение, поэтому обычно ощущается сильнее в мультимодальных и структурированных задачах с кодом, тогда как разреженный дизайн Qwen 3 30B-A3B делает её радикально быстрее в пересчёте на токен для чата и рассуждений в этом классе размеров. Именно эта скорость при таком объёме памяти — её главная отличительная черта. К тому же она поставляется под Apache 2.0, так что, в отличие от open-weight условий конкретных провайдеров, её можно свободно использовать в коммерческой и продакшен-работе без лицензионных оговорок.