هل يمكنني تشغيل Llama 3.1 70B؟

Llama 3.1 70B هو النموذج الذي تلجأ إليه عندما تظل المساعدات من فئة 8B قاصرة عن المطلوب ويتوفر لديك عتاد حقيقي تخصصه له. عند التكميم 4-bit يبلغ حجمه نحو 42.8 GB، والأهم من ذلك معرفة ما لا يتسع له: بطاقة RTX 3060 بسعة 12 GB، بل وحتى RTX 4090 بسعة 24 GB، كلتاهما خارج الحساب لأن الأوزان وحدها تفيض عنهما. واقعياً هذه مهمة جهاز بذاكرة لا تقل عن 64 GB، وجهاز Mac Studio بذاكرة موحّدة وفيرة هو أيسر بيت لتشغيله ضمن صندوق واحد. يمكنك النزول إلى تكميم 2-bit بحجم قريب من 29.6 GB إن كنت مضطراً، لكنك تدفع ثمن ذلك من الجودة.

في الاستخدام اليومي يبدو متمهلاً لا سريعاً. على معالج Apple M-Max تحصل على نحو 8 tokens في الثانية عند 4-bit، وهي سرعة مقروءة لكنها أبطأ من إيقاع كلامك، وعلى معالج DDR5 يزحف بنحو 1 token في الثانية، وهو ما يصلح للمهام الدُفعية ولا يكاد يصلح لغيرها. نافذة السياق 128K حقيقية، لكنها مكلفة هنا: ملؤها يرفع إجمالي الذاكرة إلى نحو 87.5 GB، أي أبعد بكثير من حدّ 64 GB الأدنى. أبقِ سياق العمل متواضعاً ما لم يكن لديك فائض في الذاكرة، وإلا بدأ الجهاز يلجأ إلى التبديل (swapping) وانهارت السرعة المتواضعة أصلاً.

ضمن عائلته هو الوزن الثقيل: نموذجا Llama 3.2 3B و1B هما اللذان تشغّلهما فعلاً على حاسوب محمول، بينما 70B هو ما تشغّله حين تتقدّم جودة الإجابة على السرعة. أما إن كان هدفك الحقيقي الاستدلال خطوة بخطوة، فإن نموذج DeepSeek R1 70B بالحجم نفسه يتفوّق عادةً على هذا المحور تحديداً، فهذا الـLlama مضبوط للمحادثة. وميزته البارزة هي منظومة أدوات واسعة وناضجة ومخرجات عامة الأغراض يُعتمد عليها. تنبيه واحد: رخصة Llama Community مفتوحة الأوزان (open-weight) لا مفتوحة المصدر (open-source)، فراجِع شروط Meta قبل إطلاقه في منتج تجاري.