Могу ли я запустить Mistral 7B?

Mistral 7B стал моделью, которая первой доказала, что небольшая LLM с открытыми весами может быть по-настоящему полезной, и он до сих пор остаётся разумным выбором для всех, кому нужен лёгкий локальный чат-ассистент. В 4-битной квантизации он весит около 4.4 GB, поэтому свободно помещается на видеокарту с 8 GB памяти с запасом, легко работает в единой памяти любого Mac на Apple Silicon, а если вы ужимаете его под старое железо, есть и 2-битная сборка примерно на 3 GB. Лицензия Apache 2.0 — одна из самых свободных, какие бывают: бесплатное коммерческое использование без каких-либо условий со стороны провайдера.

В повседневной работе он быстр и стабилен для чата и коротких резюме. На RTX 4090 он выдаёт около 196 токенов в секунду в 4-битном режиме, и даже скромная RTX 3060 12GB держит порядка 70 tok/s — это быстрее, чем вы успеваете читать; Mac с чипом M-серии Max выходит примерно на 80 tok/s. Контекстное окно в 32K комфортно, но не огромно, и его полное заполнение поднимает общий расход памяти примерно до 8.4 GB, поэтому на впритык забитой карте с 8 GB рабочий контекст лучше держать умеренным, а не набивать окно до отказа.

Честная оговорка — возраст: модель вышла в конце 2023 года и уступает более новым небольшим моделям в сложных рассуждениях и следовании инструкциям, а Mistral Nemo 12B обычно лучше справляется с длинными и требовательными запросами, если у вас есть лишняя память. Конкретно для кода более сильным выбором при схожем размере оказывается Qwen 2.5 Coder 7B. Там, где Mistral 7B всё ещё выигрывает, — это простота и доступность: он крошечный, полностью открыт под Apache 2.0, и за обычным тегом 'mistral' в Ollama стоят годы наработанной экосистемы инструментов, что делает его надёжной и предсказуемой отправной точкой.