Могу ли я запустить SmolLM2 1.7B?

SmolLM2 1.7B пригодится там, где Llama 8B — это перебор: по-настоящему крошечная чат-модель, которую можно запустить почти где угодно. В 4-битной квантовке она весит около 1 GB, а для работы с запасом памяти ей нужно всего порядка 3 GB RAM, так что она идёт на базовом Mac с M1, на бюджетном ноутбуке, на плате класса Raspberry Pi или на любом современном смартфоне с небольшим запасом. Лицензия — Apache 2.0, то есть модель можно использовать коммерчески и в продакшене без всяких ограничений со стороны провайдера. Воспринимайте её как модель, которую вы встраиваете, а не ту, с которой сидите и болтаете весь день.

В повседневной работе главный козырь — чистая скорость генерации. На RTX 3060 она выдаёт около 297 токенов в секунду, M Max разгоняет её примерно до 338, а 4090 доходит до 831 — намного быстрее, чем вы успеваете читать. Даже на обычном DDR5 CPU получается около 49 токенов в секунду, чего вполне хватает для коротких ответов вообще без GPU. Реальное ограничение — контекстное окно в 8K. По нынешним меркам это мало, поэтому модель хороша для одиночных вопросов, классификации и коротких выжимок, но длинный документ она не удержит. Память тут не проблема: даже при полностью заполненных 8K расход доходит лишь до примерно 1.5 GB.

Будьте честны в том, что даёт 1.7B параметров. Модель тянет лёгкий чат, форматирование и простое следование инструкциям, но пасует на многошаговых рассуждениях и более длинных задачах по коду. Qwen 3 1.7B обычно обходит её на сложных структурированных запросах, а DeepSeek R1 1.5B справляется лучше, когда вам реально нужна цепочка рассуждений, а не быстрый ответ. По сравнению с Llama 3.2 1B она берёт чуть большим весом, зато выдаёт более стабильный результат. Её сильная черта — эффективность: полностью открытый, пригодный для коммерческого использования ассистент, который быстро работает на железе, где ничто столь же способное попросту не запустится. Берите её, когда компактность важнее глубины.