← Все моделиПРОВЕРКА МОДЕЛИ
Могу ли я запустить Llama 3.1 70B?
Модели Llama 3.1 70B от Meta нужно около 64 GB RAM при рекомендуемой 4-битной квантизации (загрузка 42.8 GB). Проверка вашего железа — ниже: мгновенно, ничего не покидает ваш браузер.
Считываем характеристики вашего железа…
Характеристики
Параметры70.6B
Контекстное окно128K токенов
РазработчикMeta
ЛицензияLlama Community
Дата выхода2024-07
Лучше всего дляЧат
Размер по квантизации
| Квантизация | Бит/вес | Загрузка | Мин. RAM | Качество |
|---|---|---|---|---|
| Q2_K | 3.35 | 29.6 GB | 48 GB | Заметная потеря |
| Q4_K_MРекомендуется | 4.85 | 42.8 GB | 64 GB | Рекомендуется |
| Q5_K_M | 5.65 | 49.9 GB | 64 GB | Высокое |
| Q8_0 | 8.5 | 75.0 GB | 96 GB | Почти оригинал |
| F16 | 16 | 141.2 GB | 192 GB | Оригинал |
Размеры рассчитаны как число параметров × бит на вес; реальные сборки GGUF немного отличаются.
Запустите локально
Проще всего через Ollama — одна команда, и можно общаться:
ollama run llama3.1:70bИсточники и загрузки