Могу ли я запустить Qwen3-VL 30B-A3B?

Qwen3-VL 30B-A3B — это визуальная mixture-of-experts модель от Alibaba, и весь фокус зашит в её названии: 30B параметров всего, но лишь 3B активны на каждый токен. За счёт этого она работает со скоростью крошечной модели, хотя память нужна под весь объём целиком. В 4-битной квантизации она занимает около 18.2 GB, и для комфортной работы стоит держать не меньше 32 GB RAM. На карту с 12 GB вроде RTX 3060 она не влезет, зато машина на Apple Silicon с большим объёмом единой памяти или GPU на 24 GB — её естественная среда. Сделана она для тех, кому нужно понимание изображений плюс чат и рассуждения локально.

В повседневной работе ставка на активные 3B окупается: на RTX 4090 можно увидеть около 471 токенов в секунду, и даже Apple M Max держится бодро, примерно на 192 tok/s — достаточно быстро, чтобы ответы по изображениям ощущались мгновенными. На CPU с DDR5 скорость падает примерно до 28 tok/s: работать можно, но резвости уже нет. Окно контекста в 256K — это маркетинговый потолок, а не подарок. Заполнять его дорого: при контексте 128K модель вместе с кэшем разрастается примерно до 48.6 GB суммарно, так что планируйте память под тот контекст, который реально используете, а не под максимум из спецификации.

В сравнении с Gemma 4 31B, ближайшей родственной моделью здесь, обе находятся примерно в одной весовой категории по размеру, но Gemma 4 — это плотная (dense) модель на 30.7B, которая задействует каждый параметр, поэтому Qwen3-VL в целом ощущается быстрее при своём объёме, тогда как Gemma обычно стабильнее в чистом рассуждении и кодинге. Главная фишка Qwen3-VL — это работа со зрением, упакованная в модель, такую быструю на потребительском железе, что локально встречается всё ещё нечасто. Лицензия — Apache 2.0, так что её можно использовать в коммерческих проектах и в продакшене без привязанных к провайдеру ограничений. Скачайте её по тегу qwen3-vl:30b в Ollama — и вперёд.