Могу ли я запустить Mistral Small 3.1 24B?

Mistral Small 3.1 24B — это та модель, к которой тянешься, когда 8B-модель раз за разом подводит на сложных запросах, но переходить на 70B не хочется. Это модель на 24B с поддержкой чата и зрения (vision), то есть она читает не только текст, но и изображения, и поставляется под лицензией Apache 2.0 — а значит, её можно использовать коммерчески и в production без каких-либо ограничений. Подвох — в требованиях к памяти: при 4-битной квантизации она занимает около 14.6 GB, а для комфортной работы нужно примерно 24 GB памяти. Это сразу исключает карту на 12 GB вроде RTX 3060, куда она попросту не помещается, и направляет вас к GPU на 24 GB либо к Mac на Apple Silicon с достаточным объёмом единой (unified) памяти.

На карте с 24 GB вроде RTX 4090 при 4 битах она выдаёт около 59 tok/s — это быстрее, чем вы читаете, и для модели такого размера ощущается по-настоящему живо. На M-series Max речь идёт о значениях ближе к 24 tok/s, чего вполне достаточно для интерактивного чата. Только на CPU с DDR5 скорость падает примерно до 4 tok/s — годится для пакетной задачи на ночь, но не для того, чтобы сидеть и ждать. Контекстное окно на 128K реально, но обходится дорого: заполните его целиком, и суммарный объём памяти поднимается примерно до 42 GB — намного больше, чем модели нужно на коротком контексте. Поэтому держите рабочий контекст умеренным, если у вас нет запаса памяти.

Внутри своего семейства это тяжеловес: Mistral Nemo 12B — более лёгкий и быстрый вариант, если вы ограничены в памяти, а Mistral 7B — это минимальный по запросам выбор, но ни тот, ни другой не дотягивают до Small 3.1 в сложных рассуждениях и следовании инструкциям. По чистым возможностям ближайший соперник — Gemma 4 26B A4B; вдобавок она сильна в коде и рассуждениях, так что сравните обе модели, если эти задачи для вас важнее всего. Главная отличительная черта Small 3.1 — редкое сочетание сразу трёх вещей: встроенное зрение (vision), длинный контекст и полностью свободная лицензия Apache 2.0. Именно это делает её одной из самых простых для реального внедрения в продукт среди по-настоящему способных моделей.