Могу ли я запустить Granite 3.3 8B?

Granite 3.3 8B — это ответ IBM в переполненном классе 8B чат-моделей, и нацелен он прямо на тех, кому нужен надёжный локальный помощник, готовый к реальному внедрению. При 8,2 миллиарда параметров в 4-битной квантизации модель занимает около 5 GB, поэтому помещается на 8 GB видеокарту, работает в едином объёме памяти на любом Mac с Apple Silicon, а заявленный минимум в 8 GB RAM означает, что она доступна даже на вполне обычном железе. Если нужно ещё компактнее, 2-битная сборка опускается примерно до 3,4 GB, но за это вы расплачиваетесь качеством.

В повседневной работе модель ощущается быстрой и стабильной в чате. На RTX 3060 12 GB вы увидите около 62 токенов в секунду на 4-битной версии — заметно быстрее, чем вы читаете, — а RTX 4090 разгоняет её примерно до 172 tok/s. M-серия Max держится около 70 tok/s, тогда как режим только на CPU с DDR5 даёт скорее 10 tok/s и годится лишь для терпеливых фоновых задач. Контекстное окно в 128K реальное, но относитесь к нему как к потолку: его полное заполнение поднимает суммарный объём памяти примерно до 22 GB, поэтому на 8 GB карте держите рабочий контекст в пределах нескольких тысяч токенов.

На фоне конкурентов Granite 3.3 8B — это рабочая лошадка, а не звезда. Qwen 3 8B, почти такая же по размеру, обычно выигрывает на задачах с упором на рассуждения и многошаговых запросах, а если вам нужна настоящая мощь в коде, лучше подойдёт куда более крупная Granite 4.0 H Small. Зато эта модель предлагает ясность лицензирования: она под Apache 2.0, так что её можно использовать в коммерции и в продакшене без специфичных для провайдера условий. Для бизнеса, которому нужна маленькая, предсказуемая чат-модель для развёртывания без юридических сомнений, именно эта открытость и есть главная ценность.