Могу ли я запустить Llama 3.3 70B?

Llama 3.3 70B — это модель, к которой обращаешься, когда 8B уже не хватает по уму, а железо позволяет потянуть что-то посерьёзнее. Это плотная (dense) чат-модель на 70,6 миллиарда параметров, и её аппетиты соответствуют размеру: даже при 4-битной квантизации она занимает около 42.8 GB, и для комфортной загрузки желательно иметь минимум 64 GB системной памяти. Если опуститься до 2-битной квантизации, размер падает примерно до 29.6 GB, но реальное место для этой модели — машина на Apple Silicon с большим объёмом памяти или сборка с несколькими GPU, а не одна потребительская видеокарта.

В повседневной работе главная честная оговорка — скорость. На чипе M-серии Max вы получите около 8 tok/s при 4-битной квантизации: читать можно, но достаточно медленно, чтобы ощущать каждый длинный ответ, а на CPU с DDR5 скорость еле ползёт — примерно 1 tok/s. Контекстное окно в 128K действительно большое, но заполнять его дорого: при полных 128K общий объём занимаемой памяти вырастает примерно до 87.5 GB — это заметно больше, чем 42.8 GB, нужные только под веса. Держите рабочий контекст умеренным, если у вас нет запаса по памяти.

Учтите, что указанные RTX 3060 и RTX 4090 просто не вмещают эту модель в 4-битном виде, так что одна массовая GPU здесь не вариант. В сравнении с DeepSeek R1 70B, у которой такое же число параметров, R1 — специалист по рассуждениям и обычно вырывается вперёд на сложной многошаговой математике, тогда как Llama 3.3 70B — более надёжная и широко совместимая универсальная чат-модель. Её главная сильная сторона — почти флагманское качество диалога при открытых весах. Одна оговорка: лицензия Llama Community — это открытые веса, а не настоящий open source, поэтому проверьте условия Meta перед любым коммерческим развёртыванием.