Могу ли я запустить Granite 4.0 H Small?

Granite 4.0 H Small — это MoE-модель (mixture-of-experts) от IBM: 32B параметров на бумаге, но на каждый токен активны лишь около 9B. Именно это разделение определяет всё. Модель работает быстро для своего размера, потому что каждый токен задействует лишь часть весов, но в память всё равно нужно загрузить модель целиком, поэтому ориентируйтесь на минимум 32 GB, а не на число активных параметров. В 4-битной квантизации она занимает около 19.4 GB, что полностью исключает 12 GB карту вроде RTX 3060 и указывает на GPU с 24 GB или Mac на Apple Silicon с большим объёмом унифицированной памяти. Она рассчитана на чат и работу с кодом, а не на лёгкие эксперименты на ноутбуке.

На RTX 4090 она выдаёт примерно 157 токенов в секунду — это заметно быстрее скорости чтения и делает её приятной для интерактивных сессий программирования. На M-серии Max речь идёт о порядка 64 tok/s, по-прежнему комфортно, а на чистом CPU с DDR5 скорость падает примерно до 9 tok/s — годится для пакетных задач, но не для живого чата. Контекст 128K реален, но обходится дорого: заполните его, и суммарный объём памяти вырастает примерно до 50.7 GB, так что на карте с 24 GB подобраться к потолку на практике не получится. Держите рабочий контекст умеренным, если только у вас нет свободного Mac на 64 GB.

По сравнению с Qwen 3 32B, плотной (dense) моделью схожего общего размера, Granite обычно ощущается легче для железа благодаря архитектуре MoE, хотя Qwen 3 чаще выигрывает в тяжёлых рассуждениях, поскольку активирует все свои параметры на каждом токене. Если нужно что-то меньше и проще, плотная Granite 3.3 8B легче встаёт на скромные GPU. Главная сильная сторона Granite 4.0 H Small — это по-настоящему быстрая модель класса 32B, которую реально развернуть у себя, и она поставляется под лицензией Apache 2.0, так что её можно свободно использовать в коммерции без забот о лицензировании.