Могу ли я запустить Magistral Small 1.2?

Magistral Small 1.2 — это рассуждающая модель Mistral на 24B, рассчитанная на тех, кому нужен локальный ассистент, который действительно прорабатывает многошаговые задачи, а не просто болтает. Она умеет работать с изображениями и вести обычный диалог, но браться за неё стоит ради рассуждений. Первое, что нужно учесть, — это объём: в 4-битной квантизации она занимает около 14.6 GB, а для комфортной работы желательно иметь примерно 24 GB памяти. Это сразу исключает карту на 12 GB вроде RTX 3060, куда она попросту не помещается, и указывает на GPU с 24 GB или Mac на Apple Silicon с большим объёмом памяти.

На RTX 4090 она выдаёт около 59 токенов в секунду — этого достаточно, чтобы пошаговые рассуждения никогда не ощущались как ожидание. На M-серии Max скорость ближе к 24 токенам в секунду, что вполне годится для интерактивной работы, а только на CPU с DDR5 показатель падает примерно до 4 токенов в секунду — нормально для пакетных задач, но не для живого чата. Контекст 128K настоящий, но прожорлив к памяти: заполните его, и общее потребление вырастает примерно до 42 GB, что заметно превышает объём одной карты на 24 GB, поэтому держите рабочий контекст скромным, если у вас нет запаса.

На фоне родственных моделей Mistral Nemo 12B — более лёгкий и быстрый выбор, если вам нужен в основном чат и нет лишней памяти, тогда как Gemma 4 26B A4B при схожем размере обычно конкурирует напрямую в рассуждениях, программировании и работе с изображениями. Главная сильная сторона Magistral — этот упор на рассуждения в модели, которой вы владеете полностью: лицензия Apache 2.0 позволяет использовать её коммерчески и в продакшене без каких-либо обязательств перед провайдером, что редкость для способного рассуждающего решения на 24B. Если у вас есть те самые 24 GB, чтобы её прокормить, это одна из самых серьёзных локальных «думающих» моделей из доступных.