Могу ли я запустить Llama 3.2 1B?

Llama 3.2 1B — это модель, к которой обращаешься, когда нужно что-то локальное, способное работать почти на любом железе. При 1.2B параметрах она крошечная, а 4-битная квантизация занимает около 0.7 GB, так что помещается в память устройства уровня телефона, не нагружает планшет или слабый ноутбук и требует всего около 3 GB RAM для комфортной работы. Это модель для чата прямо на устройстве, простого черновика и встроенных ассистентов — там, где дорог каждый гигабайт и нельзя рассчитывать на наличие GPU.

В повседневной работе на первый план выходит чистая скорость. На RTX 3060 вы увидите примерно 421 tok/s, и даже CPU на DDR5 держит темп около 70 tok/s — этого достаточно, чтобы короткие ответы ощущались мгновенными. Подвох в окне контекста 128K: формально оно есть, но его заполнение поднимает общий расход памяти к 7.8 GB, а это перечёркивает весь смысл такой лёгкой модели. Держите рабочий контекст в пределах нескольких тысяч токенов — и она останется тем самым лёгковесом, ради которого вы её выбрали.

Честно о потолке: на этом размере модель нормально справляется с короткими, чётко очерченными диалогами, но теряет нить на многошаговых рассуждениях, длинных инструкциях и всём, что хоть отдалённо похоже на код. Если есть запас ресурсов, Llama 3.2 3B обычно лучше следует сложным промптам, а Gemma 3 1B — естественный конкурент в той же весовой категории. Главное достоинство 1B — широта охвата: она работает там, где более крупные модели просто не запустятся. Одна оговорка по лицензии: модель поставляется под Llama Community license — это открытые веса, но с собственными условиями Meta, так что проверьте их, прежде чем встраивать её в продукт.