Могу ли я запустить Mistral Small 4 119B?

Mistral Small 4 119B — белая ворона в семействе: в названии стоит "small", но это mixture-of-experts на 119B параметров суммарно, из которых на каждый токен активируется лишь 6.5B. Именно эта схема позволяет модели по скорости работать выше своего активного размера, но в памяти вы всё равно платите за неё целиком. В 4-битной квантизации она занимает около 72 GB, и чтобы держать её, нужно примерно 96 GB RAM. Ни одна потребительская видеокарта сюда не подходит: ни RTX 3060 на 12 GB, ни даже RTX 4090 на 24 GB не тянут. Это модель для рабочей станции или машины с большим объёмом unified memory, а не для ноутбука.

В повседневной работе трюк с MoE окупается там, где это важно. На Apple M Max с большим объёмом памяти она выдаёт около 88 токенов в секунду — для модели такого размера это ощущается как живой диалог; и даже на CPU с DDR5 вы получаете порядка 13 токенов в секунду, если готовы подождать. Контекст в 256K на бумаге щедрый, но следите за памятью: при контексте 128K общий объём вырастает примерно до 128.6 GB, так что длинное окно реально лишь при наличии RAM под него. Воспринимайте полный контекст не как бесплатную опцию, а как вопрос бюджета на железо.

В рамках собственной линейки Mistral 7B и Nemo 12B — это лёгкие варианты только под чат, если вы не можете выделить 96 GB; эта же модель обычно вырывается вперёд в рассуждениях, программировании и работе с изображениями — а две предыдущие этого не умеют вовсе. Ближайший её конкурент здесь — Nemotron 3 Super 120B-A12B, другой крупный MoE того же весового класса; эти двое скорее обмениваются ударами на равных, чем кто-то явно лидирует. Главное преимущество в том, что вы получаете модель сразу под четыре задачи (чат, рассуждения, код, зрение) под настоящей лицензией Apache 2.0, так что коммерческое и продакшен-использование полностью разрешены без каких-либо условий со стороны провайдера.