Question 1

8 GB RAM ile hangi LLM'i çalıştırabilirim?

Accepted Answer

8 GB ile Llama 3.1 8B veya DeepSeek R1 7B gibi 4-bit nicemlenmiş, yaklaşık 7–8 milyar parametreye kadar modelleri rahatça çalıştırabilirsin. Llama 3.2 3B veya Gemma 3 4B gibi daha küçük modeller daha da hızlı çalışır ve diğer uygulamalara yer bırakır.

Question 2

Yerel LLM çalıştırmak için GPU gerekir mi?

Accepted Answer

Hayır. Ollama, LM Studio ve llama.cpp gibi araçlar modelleri CPU üzerinde çalıştırır. GPU (veya Apple Silicon birleşik belleği) üretimi kat kat hızlandırır, ama asıl belirleyici RAM'dir — modelin belleğe sığması gerekir.

Question 3

Nicemleme (Q4, Q8) nedir?

Accepted Answer

Nicemleme, modelin ağırlıklarını daha az bitle saklayarak boyutunu küçültür. Q4 (4-bit), orijinal 16-bit ağırlıklara göre boyutu yaklaşık 4 kat azaltır ve kalite kaybı çok azdır — tüketici donanımında LLM çalıştırmanın standardı budur.

Question 4

Bu test ne kadar doğru?

Accepted Answer

Tarayıcılar gizlilik için bazı sinyalleri sınırlar: bildirilen bellek en fazla 8 GB görünür ve GPU adları genelleştirilir. Sonucu sağlam bir tahmin olarak değerlendir; kesin sonuç için gerçek RAM'ini elle seç. Her şey tarayıcında çalışır — hiçbir veri saklanmaz.

Question 5

Modelleri yerel çalıştırmak için hangi uygulamaları kullanabilirim?

Accepted Answer

En popülerleri Ollama, LM Studio, llama.cpp ve Jan. Bu testin yeşil işaretlediği bir modeli seç, Q4 sürümünü indir — dakikalar içinde çevrimdışı sohbete başla.

Hangi LLM'i çalıştırabilirim?

Sık sorulan sorular