Могу ли я запустить Qwen 3.5 27B?

Qwen 3.5 27B — это модель, к которой тянешься, когда 8B уже маловато, а под рукой есть серьёзное железо. Это плотная (dense) модель на 27B, которая тянет чат, рассуждения, программирование и работу с изображениями, так что она становится универсальной локальной рабочей лошадкой, а не помощником на один трюк. Подвох — в объёме: в 4-битной квантизации она занимает около 16.4 GB, и для чистой загрузки нужно минимум 24 GB оперативной памяти. Это сразу отсекает 12 GB карты вроде RTX 3060, куда она попросту не влезает, и подводит вас к GPU на 24 GB или Mac на Apple Silicon с щедрой объединённой памятью.

На RTX 4090 в 4-битном режиме можно рассчитывать примерно на 52 токена в секунду — это быстрее, чем вы читаете, и вполне комфортно для интерактивной работы. На M-серии Max скорость оседает около 21 токена в секунду: для чата и кода всё ещё нормально, но на длинных генерациях ощутимо медленнее; на чистом CPU с памятью DDR5 показатель падает примерно до 3 токенов в секунду — это уже территория терпения. Контекст в 256K — это громкая цифра в заголовке, но относитесь к ней как к потолку: при 128K суммарный объём памяти вырастает примерно до 45.4 GB, поэтому на карте с 24 GB держите рабочий контекст заметно ниже максимума.

Естественное сравнение — Gemma 3 27B, другая модель с открытыми весами на 27B и поддержкой изображений в этом размерном классе. Gemma обычно выглядит более безопасным выбором, если вам в первую очередь нужны отполированный чат и понимание изображений, тогда как Qwen 3.5 27B в целом сильнее в программировании и структурированных рассуждениях — именно в этом её выдающаяся ценность для разработчиков. Главный практический плюс — лицензия: модель поставляется под Apache 2.0, поэтому её можно использовать коммерчески и в продакшене без привязанных к провайдеру условий, в отличие от условий открытых весов, которые идут вместе с Gemma.