Llama 3.2 3B çalıştırabilir miyim?

Llama 3.2 3B, neredeyse hiç zorlanmayan donanımlarda gerçek bir asistan isteyenlerin tercih edeceği model. 4-bit quant ile yaklaşık 1.9 GB yer kaplıyor ve yalnızca 4 GB civarı RAM istiyor; yani pratikte her yere sığıyor: giriş seviyesi bir dizüstü, yeterli belleği olan Raspberry sınıfı bir kart, eski bir 6 GB GPU ya da biraz boş alanı olan herhangi bir Apple Silicon Mac. 8B ailesi makinenize ağır geliyorsa, sohbeti gerçekten kullanışlı tutan bir alt basamak budur.

Günlük kullanımda öne çıkan şey hız. Bir RTX 3060 üzerinde saniyede yaklaşık 158 token bekleyebilirsiniz; bir 4090 bunu ~442 tok/s seviyesine çıkarıyor ki bu okuyabileceğinizden çok daha hızlı. GPU'nuz hiç yoksa bile bir DDR5 CPU yaklaşık 26 tok/s civarını idare ediyor. 128K bağlam penceresi listelenmiş, ama bellek konusunda gerçekçi olun: bunu sonuna kadar doldurmak toplam kullanımı yaklaşık 13 GB'a tırmandırıyor; bu da modelin boştaki ayak izinin epey üzerinde. Küçük makinelerde çalışma bağlamını birkaç bin token ile sınırlı tutun.

Kendi ailesi içinde Llama 3.2 3B, derinlikten ödün vererek boyut kazanıyor. Llama 3.1 8B genelde daha zor akıl yürütmeyi ve çok adımlı yönergeleri daha iyi kotarır; 1B kardeşi ise yalnızca gerçekten bellek darboğazındaysanız ve daha zayıf yanıtları kabul edebiliyorsanız mantıklı. 3B'nin asıl özelliği, oyuncak gibi değil de yetkin bir sohbet partneri gibi hissettiren en küçük Llama olması. Bir uyarı: Llama Community lisansıyla geliyor; bu, ağırlıkları açık (open-weight) olsa da Meta'nın kendi şartlarını taşıyor, yani düz anlamıyla open-source değil. Üzerine ürün geliştirmeden önce bu şartları inceleyin.