Могу ли я запустить Qwen 3 8B?

Qwen 3 8B — это модель, к которой стоит обратиться, когда нужен локальный ассистент, способный по-настоящему рассуждать, а не просто болтать. В 4-битной квантизации она занимает около 5 GB, поэтому помещается на GPU с 8 GB, а минимальные 8 GB RAM означают, что её без проблем потянет базовый Mac на Apple Silicon или скромный десктоп. Главная фишка — гибридный режим рассуждений: модель может потратить дополнительные токены на обдумывание задачи перед ответом, и именно поэтому её выбирают вместо обычных чат-моделей того же класса 8B.

В повседневной работе она ощущается шустрой. На RTX 3060 12GB вы получаете примерно 62 tok/s, на M-series Max — около 70, а RTX 4090 разгоняет её до 172 — этого достаточно, чтобы ответы опережали чтение. На одном CPU с DDR5 скорость падает примерно до 10 tok/s: годится для пакетной обработки, но не для интерактива. Контекст в 128K реальный, но будьте осторожны: его полное заполнение поднимает общий объём памяти примерно до 22 GB — намного больше, чем держит карта на 8 GB. Так что держите рабочий контекст скромным, если нет запаса, либо переходите на сборку q2 размером 3.4 GB.

В сравнении с Granite 3.3 8B — открытой моделью схожего размера, ориентированной в основном на чат, — Qwen 3 8B обычно выигрывает в многошаговых рассуждениях и математике благодаря режиму мышления, тогда как Granite ощущается более разговорчивой. Её отличительная черта — этот переключатель рассуждений в такой компактной упаковке. А с лицензией всё просто: Apache 2.0 означает, что вы можете использовать её коммерчески и в продакшене без привязанных к провайдеру условий, что для такого размера встречается реже, чем хотелось бы.