Могу ли я запустить Devstral Small 2 24B?

Devstral Small 2 — это модель Mistral для кода на 24B, и название не передаёт, сколько железа она требует. При 4-битном кванте веса занимают около 14.6 GB, так что карты на 12 GB, которые есть у большинства, тут не подходят: на RTX 3060 модель просто не помещается. Чтобы запускать её с комфортом, реально нужно 24 GB памяти, а на практике это либо GPU на 24 GB вроде 4090, либо Mac на Apple Silicon как минимум с 24 GB единой памяти. Если опуститься до 2-битного кванта, размер падает примерно до 10.1 GB, но для модели, весь смысл которой — аккуратная генерация кода, это слишком серьёзная потеря качества.

На 4090 при 4-битном кванте можно рассчитывать примерно на 59 токенов в секунду — это по-настоящему приятно для агентного цикла работы с кодом, когда модель читает файлы, строит план и вносит правки. На M-series Max скорость опускается ближе к 24 tok/s: для интерактивной работы ещё годится, но на длинных генерациях разница чувствуется. Заявленные 256K контекста реальны и полезны, чтобы скармливать модели целые репозитории, но стоит честно сказать о цене: даже на 128K по техническим данным суммарный объём памяти подбирается к 42.1 GB — это далеко за пределами одной карты на 24 GB. Относитесь к большому контексту как к инструменту, который вы включаете осознанно, а не как к настройке по умолчанию.

На фоне родственных моделей Devstral — выбор для серьёзной работы: Mistral 7B и Mistral Nemo 12B легче и проще в развёртывании, но в многошаговых задачах по коду обычно слабее, а Gemma 4 26B A4B — ближайший конкурент по коду и рассуждениям, который стоит сравнить бок о бок, если памяти хватает. Главное преимущество Devstral в том, что она создавалась для агентного редактирования кода с использованием инструментов, а не для разовых ответов в чате, и этот акцент виден в том, как она держится плана сразу по нескольким файлам. Лицензия — Apache 2.0, поэтому модель можно использовать коммерчески и в продакшене без ограничений, что редкость для модели такого уровня.