Могу ли я запустить Phi-4 Mini 3.8B?

Phi-4 Mini 3.8B — это компактная чат-модель от Microsoft, тот самый вариант, когда нужно что-то по-настоящему лёгкое, но при этом способное вести диалог. В 4-битной квантизации она занимает около 2.3 GB и сжимается примерно до 1.6 GB в 2-битной, так что помещается почти куда угодно: на GPU с 6 GB остаётся запас, базовый Mac на M1 запускает её без напряжения, а старый ноутбук тянет её на CPU. Лицензия MIT — самая простая часть: никаких условий читать не нужно и никаких ограничений на коммерческое использование, поэтому модель можно свободно встраивать в продукт.

В повседневной работе она шустрая. На RTX 3060 вы увидите около 133 tok/s, на M-series Max — порядка 151 tok/s, а 4090 разгоняет её за 370 tok/s, что заметно быстрее, чем вы успеваете читать. Контекст 128K — это громкая цифра, но относитесь к ней осторожно: заполните его, и общий объём памяти вырастает примерно до 14.3 GB, далеко за пределы тех 6 GB, что модель требует в покое. На небольшом GPU держите рабочий контекст в пределах нескольких тысяч токенов, и всё будет комфортно. Даже на CPU с DDR5 она выдаёт около 22 tok/s на коротких запросах.

Где сказывается её размер — так это в глубине. В рассуждениях и многошаговых инструкциях Qwen 3 4B обычно впереди, несмотря на примерно тот же объём параметров, а если нужен реальный запас для рассуждений, очевидный шаг вверх — Phi-4 14B. Главное достоинство Phi-4 Mini — эффективность: для обычного чата и суммаризации она работает выше своих 3.8B, оставаясь достаточно компактной, чтобы запускаться почти где угодно, под лицензией MIT и без ограничений. Если вам нужен крошечный локальный ассистент, который быстро грузится и не мешает работать, это сильный вариант по умолчанию.