Могу ли я запустить Devstral 24B?

Devstral 24B — это специализированная модель для кодинга от Mistral AI, рассчитанная на тех, кому нужен полноценный локальный агент для работы с кодом, а не универсальный собеседник. При 24B плотных параметрах это не лёгкая модель: 4-битный квант занимает около 14.6 GB, а для комфортной работы нужно минимум примерно 24 GB RAM. Это выводит её за пределы возможностей 12 GB карты вроде RTX 3060, где она просто не помещается. Естественная среда — 24 GB GPU, например RTX 4090, или Mac на Apple Silicon с большим объёмом unified memory. Если места не хватает, 2-битная сборка опускается примерно до 10.1 GB.

В повседневном кодинге на RTX 4090 можно рассчитывать примерно на 59 tok/s при 4-битном кванте — достаточно быстро, чтобы сгенерированный код плавно появлялся, пока вы его читаете. На Apple M-серии Max скорость держится ближе к 24 tok/s, что по-прежнему вполне годится для интерактивной работы, а на CPU при DDR5 падает примерно до 4 tok/s — это уже территория терпения. Окно контекста на 128K действительно большое, но бесплатным оно не бывает: его заполнение поднимает суммарную память примерно до 42.1 GB, заметно выше базового объёма модели, так что держите рабочий контекст скромным, если у вас нет запаса.

На фоне родственных моделей Devstral 24B — тяжеловес: Mistral 7B и Mistral Nemo 12B заметно легче и нацелены на общий чат, поэтому пойдут на железе, которое Devstral не потянет, но в реальных задачах по коду обычно ему уступают. Ближе по сравнению Gemma 4 26B A4B — модель схожего размера, которая помимо кодинга справляется с чатом, рассуждениями и зрением и обычно оказывается более универсальной, если нужна одна модель на всё. Главная сильная сторона Devstral — узкая специализация на коде, а лицензия Apache 2.0 означает, что вы можете использовать её свободно, в том числе в коммерческой продакшен-среде.