Могу ли я запустить Qwen 3 0.6B?

Qwen 3 0.6B — это по-настоящему крошечная модель, и в этом весь смысл. В 4-битной версии она занимает около 0.4 GB, а даже сборка q8 — всего 0.6 GB, так что она спокойно умещается в 2 GB RAM с запасом. По сути, она запускается на чём угодно: на старом ноутбуке, на плате уровня Raspberry Pi, на телефоне или в уголке любой современной GPU. Воспринимайте её как модель, к которой стоит обращаться, когда нужна локальная генерация текста на железе, которое в принципе не предназначено для LLM, а не как универсального ассистента на все случаи жизни.

В повседневной работе главная её черта — чистая скорость. На RTX 3060 она выдаёт около 841 tok/s, на M-series Max держится у отметки 958, а на 4090 разгоняется примерно до 2355 tok/s — это намного быстрее, чем вы успеваете читать, и достаточно быстро, чтобы встраивать её в плотные циклы или пакетные задачи. Даже на CPU с DDR5 вы получаете около 140 tok/s, что вполне пригодно для работы. Контекстное окно 32K — настоящее, и поскольку сама модель остаётся компактной, полностью заполненный контекст 32K требует всего около 1.7 GB суммарно, так что о давлении на KV-кэш тут думать почти не приходится.

Будьте честны с собой насчёт компромисса: при 0.6B параметров это чат-модель, а не модель для рассуждений. Для всего, что требует многошаговости, структурированности или плотной работы с кодом, Qwen 3 4B из того же семейства обычно заметно вырывается вперёд, да и Qwen 3 1.7B, как правило, надёжнее следует инструкциям. На фоне Gemma 3 1B это более лёгкий и быстрый вариант, хотя в простом чате они держатся примерно на одном уровне. Её реальное преимущество — это размер плюс скорость, и лицензия тут помогает: Apache 2.0 означает, что вы можете использовать её свободно, в том числе в коммерческих проектах, без привязанных к конкретному провайдеру условий.