Могу ли я запустить Qwen3-VL 8B?

Qwen3-VL 8B — это модель Alibaba с поддержкой зрения в классе 8B, и именно за ней стоит тянуться, когда нужен локальный ассистент, который реально умеет смотреть на изображения и скриншоты, а не только читать текст. В 4-битной квантизации она занимает около 4.9 GB, поэтому помещается на карту с 12 GB вроде RTX 3060 с запасом и спокойно живёт в единой памяти на любом Mac с Apple Silicon. Разумный минимум по памяти — примерно 8 GB RAM, а если совсем впритык, можно опуститься до 2-битной сборки около 3.4 GB, хотя более тяжёлый q8 весит почти 8.5 GB.

В повседневной работе для модели на 8B она ощущается шустрой. На RTX 3060 в 4-битном режиме можно рассчитывать примерно на 63 токена в секунду, а M-series Max выдаёт около 72 — обе скорости таковы, что ответы печатаются быстрее, чем вы их читаете; 4090 же уходит в отрыв на уровне примерно 177. Главная цифра — контекстное окно на 256K, но воспринимайте его как потолок, а не как значение по умолчанию. При контексте 128K модель вместе с KV-кэшем уже требует около 21.7 GB суммарно — это заметно больше того, что вмещает одна карта среднего уровня, так что держите рабочий контекст скромным, если у вас нет мощного GPU.

В сравнении с Llama 3.1 8B — очевидным соперником того же размера — главный козырь Qwen3-VL именно в том, чего Llama попросту не умеет: она читает изображения. Для обычного текстового чата эти две модели близки настолько, что выбор сводится к тому, нужно ли вам зрение. Если вы подаёте на вход только текст, у Llama по-прежнему более развитая экосистема инструментов; но если нужно описывать скриншоты или вытаскивать текст из фотографии локально, то этот инструмент подходит лучше. Модель поставляется под лицензией Apache 2.0, так что её можно использовать в коммерческих проектах и в продакшене без забот о лицензировании.