Могу ли я запустить GLM-4.6V-Flash?

GLM-4.6V-Flash — это модель на 9B от Z.ai, работающая и с изображениями, и с текстом; она для тех, кому нужен локальный ассистент, который реально умеет смотреть на картинки, а не только читать текст. В 4-битной квантизации она весит около 5.5 GB, поэтому свободно помещается на 12 GB карту вроде RTX 3060 с запасом и укладывается в единую память любого Mac на Apple Silicon с разумной конфигурацией. Чтобы загрузить её без проблем, желательно иметь хотя бы около 12 GB RAM. Если со свободным местом туго, 2-битная сборка опускается примерно до 3.8 GB, но за этот запас вы расплачиваетесь качеством.

В повседневной работе она ощущается шустрой. На RTX 3060 в 4-бит можно рассчитывать примерно на 56 tok/s — этого достаточно, чтобы ответы выводились быстрее, чем вы успеваете читать, а 4090, если он у вас есть, разгоняет это до примерно 157 tok/s. M-серия Max держится около 64 tok/s, тогда как чистый CPU на DDR5 еле ползёт на уровне около 9 tok/s — годится, только если вы терпеливы. Контекст в 128K настоящий, но дорогой: его заполнение поднимает общий объём памяти к 23.2 GB, что заметно выше того, что вмещает 12 GB карта, так что держите рабочий контекст скромным и опирайтесь на задачи с изображениями, а не на огромные документы.

Среди родственных моделей Qwen 2.5 VL 7B — очевидная точка сравнения по части зрения, и она в целом держится хорошо, тогда как родственная модель Qwen обычно оказывается более сильным выбором, если вам помимо изображений нужны ещё и рассуждения. Главная сильная сторона GLM-4.6V-Flash в том, что это по-настоящему компактная мультимодальная модель, которая без особых хлопот работает на скромном железе. Лицензия — MIT, а значит вы вправе использовать её в коммерческих целях и в продакшене без каких-либо ограничений со стороны провайдера, что является реальным преимуществом перед многими релизами с открытыми весами.