Могу ли я запустить Llama 3.1 8B?

Llama 3.1 8B — это именно та модель, которую большинство людей имеют в виду, когда говорят, что хотят «запустить локальную LLM». В 4-битной квантизации она занимает около 4.9 GB, а значит, спокойно помещается на GPU с 8 GB, свободно укладывается в unified memory на любом Mac с Apple Silicon начиная с M1 и даже запустится на CPU, если у вас хватит терпения. Именно сочетание малого размера и действительно полезного результата сделало её отправной точкой по умолчанию для self-hosting.

В повседневной работе она ощущается быстрой и связной в чате, суммаризации и лёгкой помощи с кодом. На среднем современном GPU в 4-битной квантизации можно рассчитывать заметно больше 40 tok/s — ответ стримится быстрее, чем вы успеваете читать. Контекстное окно на 128K реальное, но воспринимайте его как потолок, а не как рабочую высоту: его заполнение резко поднимает расход памяти под KV-кэш, поэтому на карте с 8 GB рабочий контекст лучше держать в пределах нескольких тысяч токенов, если только не переходить на более лёгкую квантизацию.

Свой размер модель выдаёт в рассуждениях и следовании инструкциям на более сложных, многошаговых запросах — более новые модели на 7-8B вроде Qwen 3 8B обычно обходят её в математике и структурированных задачах, а Gemma 3 4B — более лёгкий выбор, если памяти в обрез. Преимущество Llama 3.1 8B в зрелости: у неё самая широкая поддержка инструментов, больше всего квантованных сборок на Hugging Face и Ollama и меньше всего сюрпризов. Если вам нужна одна модель, которая просто работает как локальный ассистент, это по-прежнему безопасный выбор по умолчанию.