Question 1

Какую LLM можно запустить на 8 GB RAM?

Accepted Answer

С 8 GB вы спокойно запустите 4-битные квантованные модели размером до 7–8B параметров, например Llama 3.1 8B или DeepSeek R1 7B. Модели поменьше, такие как Llama 3.2 3B или Gemma 3 4B, работают ещё быстрее и оставляют память другим приложениям.

Question 2

Нужна ли видеокарта (GPU) для локальной LLM?

Accepted Answer

Нет. Ollama, LM Studio и llama.cpp умеют запускать модели на CPU. GPU (или объединённая память Apple Silicon) ускоряет генерацию в несколько раз, но главный ограничитель — RAM: модель должна помещаться в память.

Question 3

Что такое квантизация (Q4, Q8)?

Accepted Answer

Квантизация уменьшает модель, сохраняя её веса с меньшим числом бит. Q4 (4 бита) сокращает размер примерно в 4 раза по сравнению с исходными 16-битными весами при минимальной потере качества — это стандартный способ запускать LLM на обычном железе.

Question 4

Насколько точен этот тест?

Accepted Answer

Ради приватности браузеры ограничивают часть данных: объём памяти показывается максимум как 8 GB, а названия GPU обобщаются. Считайте результат хорошей оценкой и укажите реальный объём RAM вручную для точного вердикта. Всё работает в вашем браузере — данные никуда не сохраняются.

Question 5

Какими программами запускать модели локально?

Accepted Answer

Самые популярные — Ollama, LM Studio, llama.cpp и Jan. Выберите модель, которую этот тест пометил зелёным, скачайте её сборку в Q4 — и уже через несколько минут общайтесь с ИИ офлайн.

Какую LLM я могу запустить?

Частые вопросы