Могу ли я запустить Qwen 3 4B?

Qwen 3 4B - это модель, к которой стоит обращаться, когда нужны настоящие рассуждения от чего-то компактного. В 4-битной квантизации она занимает около 2.4 GB, поэтому помещается почти куда угодно: на GPU с 6 GB остаётся запас, любой Mac на Apple Silicon проглатывает её целиком, и даже старый ноутбук со встроенной графикой способен её запустить. Минимум для комфортной работы - примерно 6 GB RAM. Если у вас машина только с CPU или устройство класса Raspberry Pi, это одна из немногих моделей, которая при таком объёме остаётся по-настоящему полезной, а не просто формально загружаемой.

В повседневной работе она ощущается шустрой. На RTX 3060 модель выдаёт примерно 126 токенов в секунду при 4 битах, а M-series Max держится около 144 - оба значения заметно выше скорости чтения, так что ответы для чата и коротких цепочек рассуждений приходят мгновенно. На 4090, если он у вас есть, получится около 353. Чистый CPU на DDR5 падает до примерно 21 токена в секунду - медленно, но пригодно для фоновых задач. Контекстное окно - 32K, чего достаточно для большинства задач, но при его заполнении общий объём памяти вырастает примерно до 5.5 GB, поэтому на тесной машине с 6 GB держите рабочий контекст скромным.

В рамках собственного семейства Qwen 3 4B - очевидный шаг вперёд от Qwen 3 1.7B, когда меньшая модель начинает спотыкаться на многошаговых промптах, оставаясь при этом гораздо легче уровня 7-8B. Phi-4 Mini 3.8B - разумная альтернатива близкого размера, и в чате они обычно идут вровень, но главная сильная сторона Qwen 3 4B - умение работать выше своего числа параметров в задачах на рассуждение при крайне низкой стоимости запуска. Модель поставляется под лицензией Apache 2.0, так что её можно использовать коммерчески и в продакшене без лицензионных хлопот, что редкость при таком соотношении качества к размеру.