Могу ли я запустить Ministral 3 8B?

Ministral 3 8B — это вышедший в конце 2025 года вариант небольшой универсальной локальной модели от Mistral, и в одном пакете на 8B он справляется и с чатом, и с распознаванием изображений. В 4-битной квантизации модель занимает около 4.9 GB, поэтому она с запасом помещается на видеокарту с 8 GB и спокойно работает в единой памяти на любом Mac с Apple Silicon. Указанные минимальные 8 GB RAM честно отражают вес самих весов модели, что делает её реалистичным выбором для ноутбука или недорогой б/у видеокарты, а не чем-то, под что нужна рабочая станция.

В повседневной работе модель ощущается быстрой. На RTX 3060 в 4-битном режиме можно рассчитывать примерно на 63 токена в секунду, на 4090 это вырастает до приблизительно 177, а M-series Max держится около 72 — и всё это быстрее, чем вы успеваете читать потоковый ответ. Главная цифра — окно контекста на 256K, но воспринимайте её как потолок, а не как значение по умолчанию. При 128K контекста полный объём памяти поднимается примерно до 21.7 GB, что заметно больше, чем вмещает карта на 8 GB, поэтому держите рабочий контекст в пределах нескольких тысяч токенов, если у вас нет достаточного объёма VRAM под длинное окно.

На фоне родственных моделей Ministral 3 8B занимает промежуточное положение: у Mistral Nemo 12B обычно больше запаса для сложных рассуждений, если вы можете позволить себе более крупную модель, тогда как Mistral 7B — более лёгкий запасной вариант, когда памяти в обрез. Главная особенность Ministral 3 8B в том, что распознавание изображений умещается в тот же небольшой объём, так что вы получаете понимание изображений, не переходя на более тяжёлую мультимодальную модель. Она поставляется под лицензией Apache 2.0, а значит её можно использовать коммерчески и в продакшене без привязанных к конкретному провайдеру условий — действительно чистая лицензия для модели такого уровня.