Могу ли я запустить Qwen 3.5 4B?

Qwen 3.5 4B — это небольшая плотная (dense) модель для тех, кому нужен толковый локальный ассистент, почти не нагружающий железо. В 4-битной квантизации она занимает около 2.4 GB, поэтому помещается практически в любую современную GPU с запасом, спокойно работает в унифицированной памяти на Mac с Apple Silicon, а минимум в 6 GB RAM означает, что её потянет даже старый ноутбук. Кроме чата она умеет работать с изображениями (vision), что редкость для такого размера. Лицензия Apache 2.0 разрешает коммерческое использование и запуск в продакшене без каких-либо ограничений.

В повседневной работе она быстрая. На RTX 4090 вы получите около 353 tok/s, а средняя RTX 3060 всё ещё выдаёт примерно 126 tok/s — обе скорости намного выше, чем вы способны читать. M-series Max держится около 144 tok/s, и даже чистый CPU на DDR5 осиливает порядка 21 tok/s, если вы готовы подождать. Контекстное окно в 256K щедрое, но воспринимайте его как запас, а не как значение по умолчанию. По мере заполнения память растёт круто: при контексте 128K общий объём достигает примерно 14.7 GB, что переполнит большинство потребительских карт, поэтому держите рабочий контекст скромным, если у вас нет лишней памяти.

Внутри своего семейства она заметно выше крошечных Qwen 3 1.7B и 0.6B, которые больше подходят для телефонов и встраиваемых задач, чем на роль основного ассистента. По сравнению с Phi-4 Mini 3.8B, Qwen 3.5 4B обычно ощущается более универсальной благодаря поддержке vision и более длинному контексту, тогда как Phi-4 Mini лучше держится на узко очерченных задачах рассуждения. Главное достоинство здесь — отдача за такой объём: мультимодальная модель на 4B, которая быстро работает на скромном железе под полностью свободной лицензией, — редкое сочетание, и это делает её удобным выбором по умолчанию для лёгкой локальной сборки.