Могу ли я запустить Ministral 3 14B?

Ministral 3 14B — это среднеразмерная модель Mistral, вышедшая в декабре 2025 года: плотная сеть на 14B параметров, которая вдобавок работает с изображениями. Поэтому её стоит брать, когда нужна одна локальная модель, которая и общается, и читает картинки, без необходимости держать два отдельных чекпойнта. В 4-битной квантизации она занимает около 8.5 GB — чуть больше, чем комфортно помещается на карту с 8 GB, но в самый раз для 12 GB RTX 3060 или любого Mac на Apple Silicon с 16 GB единой памяти и выше. Если совсем впритык, 2-битная сборка ужимается примерно до 5.9 GB; сборка q8 ближе к 15 GB.

В повседневной работе для своего размера она ощущается шустрой. На RTX 3060 12 GB вы получите около 36 токенов в секунду на 4-битной версии — заметно быстрее скорости чтения, а RTX 4090 разгоняет её примерно до 101 tok/s. M-серии Max выдаёт около 41 tok/s. Окно контекста 256K — это громкая цифра, но относитесь к ней как к потолку, а не значению по умолчанию: даже на 128K общий объём памяти вырастает примерно до 30 GB, когда заполняется KV-кэш, что заметно превышает возможности одного устройства с 12 GB или 16 GB. Держите рабочий контекст в пределах нескольких тысяч токенов, если только у вас нет запасной карты на 24 GB и больше.

На фоне соседей Ministral 3 14B обычно превосходит более старых родственников вроде Mistral 7B и Mistral Nemo 12B на сложных, многошаговых запросах — просто за счёт того, что она крупнее и новее, тогда как OLMo 2 13B остаётся альтернативой с полностью открытыми данными, если воспроизводимость для вас важнее голой мощности. Её главное преимущество — встроенная поддержка зрения при таком размере и при этом действительно пригодная для работы скорость. А лицензия — самая простая часть: Apache 2.0, так что вы можете использовать модель в коммерческих целях и в продакшене без специфичных для провайдера ограничений.