Могу ли я запустить Ministral 3 3B?

Ministral 3 3B — это ответ Mistral на вопрос «какой минимальный размер модели всё ещё ощущается как настоящий ассистент?». При 3B параметров она создана для чата и лёгких задач со зрением на железе, которое у вас уже есть. 4-битная квантизация занимает около 1.8 GB, а сборку q2 можно ужать до 1.3 GB, если совсем впритык. С минимумом в 4 GB RAM она работает на бюджетном ноутбуке, старой видеокарте на 4 GB или любом Mac на Apple Silicon — о памяти можно вообще не думать. Это та модель, к которой тянешься, когда модель побольше попросту не помещается.

В повседневной работе главное — скорость. На RTX 3060 вы увидите примерно 168 токенов в секунду, M-серия Max выдаёт около 192, а 4090 разгоняется до ~471 — всё это намного быстрее, чем вы успеваете читать, так что ответы кажутся мгновенными. Даже на одном CPU с DDR5 выходит около 28 tok/s, чего хватает для пакетной обработки. Контекстное окно щедрое — 256K, но относитесь к нему как к потолку. Заполнять его дорого: при 128K контекста суммарная нагрузка на память поднимается примерно до 12.6 GB, заметно выше собственного объёма модели, поэтому на слабых машинах держите рабочий контекст скромным.

Честно говоря, на 3B вы меняете часть глубины на эту скорость и крошечный объём. Mistral 7B обычно держится лучше на более сложных рассуждениях и длинных цепочках инструкций, а Mistral Nemo 12B уходит ещё дальше вперёд, если есть запас памяти. Сильная сторона Ministral 3 3B — сочетание чистой пропускной способности и того, что она ещё и работает со зрением, чего более крупные чат-ориентированные Mistral не умеют. Она поставляется под Apache 2.0, так что её можно использовать коммерчески без каких-либо ограничений. Для быстрой, бесплатной и универсальной небольшой модели — место своё она оправдывает.