Могу ли я запустить Codestral 22B?

Codestral 22B — это специализированная модель Mistral AI для работы с кодом, заточенная под автодополнение и генерацию кода, а не под свободный диалог. С её 22.2 миллиардами параметров это заметный шаг вверх по размеру относительно моделей на 7B-12B, с которых большинство начинает, и аппетиты соответствующие: 4-битный квант занимает около 13.5 GB, а для комфортной работы модели нужно минимум 24 GB RAM. Это сразу выводит её за рамки 12-гигабайтных карт вроде RTX 3060 — туда она попросту не помещается. Реалистичная точка входа — это GPU на 24 GB, например RTX 4090, либо Mac на Apple Silicon с большим объёмом единой памяти.

На RTX 4090 в 4-битном режиме можно рассчитывать примерно на 64 tok/s — этого достаточно, чтобы подсказки по коду ощущались почти мгновенными. Apple M-series Max идёт ниже, около 26 tok/s, что всё ещё пригодно для интерактивного редактирования, тогда как режим только на CPU с DDR5 падает примерно до 4 tok/s — это уже годится разве что для пакетных задач, которые можно запустить и уйти. Контекстное окно — 32K: скромно по нынешним меркам, но с запасом хватает для большинства задач в пределах одного файла или небольшого репозитория. Если заполнить его целиком, общий объём памяти выходит около 20.1 GB, так что на 24-гигабайтной карте полный контекст почти не оставляет запаса.

На фоне родственных моделей Codestral — узкий специалист: Mistral Nemo 12B легче и универсальнее как вариант для чата, если памяти в обрез, а GPT-OSS 20B в целом выигрывает в рассуждениях и беседе. Сильная сторона Codestral в том, что её обучали именно на коде и на множестве языков, поэтому в автодополнении по принципу fill-in-the-middle и в генерации она ощущается точнее, чем универсал того же размера. Серьёзная оговорка — это лицензия: Codestral поставляется под MNPL от Mistral, а это непродакшен-лицензия, поэтому использовать модель в коммерческих целях или в продакшен-продукте нельзя. Воспринимайте её исключительно как инструмент для исследований и личного использования.