هل يمكنني تشغيل Llama 3.2 3B؟

Llama 3.2 3B هو النموذج الذي تلجأ إليه عندما تريد مساعدًا حقيقيًا على عتادٍ لا يكاد يشعر بتشغيله. بكمٍّ من 4-bit يصل حجمه إلى نحو 1.9 GB، ولا يطلب سوى حوالي 4 GB من ذاكرة RAM، فيتسع عمليًا لأي جهاز تقريبًا: حاسوب محمول من فئة المبتدئين، أو لوحة من صنف Raspberry بذاكرة كافية، أو بطاقة GPU قديمة بسعة 6 GB، أو أي جهاز Apple Silicon Mac فيه مساحة فائضة. إذا بدت لك عائلة 8B ثقيلة على جهازك، فهذه هي الدرجة الأدنى التي تُبقي المحادثة مفيدة فعلًا.

في الاستخدام اليومي، الميزة البارزة هي السرعة. على بطاقة RTX 3060 يمكنك توقع نحو 158 token في الثانية، بينما تدفع بطاقة 4090 هذا الرقم إلى حوالي 442، وهو أسرع بكثير من قدرتك على القراءة؛ وحتى معالج CPU بذاكرة DDR5 يحقق نحو 26 tok/s إن لم يكن لديك أي GPU إطلاقًا. نافذة السياق المذكورة هي 128K، لكن كن واقعيًا بشأن الذاكرة: ملؤها بالكامل يرفع الاستهلاك الإجمالي إلى نحو 13 GB، أي أبعد بكثير من البصمة الأساسية للنموذج في وضع الخمول، لذا أبقِ سياق العمل في حدود بضعة آلاف من الـ token على الأجهزة الصغيرة.

في مواجهة عائلته نفسها، يتنازل Llama 3.2 3B عن العمق مقابل الصِّغر. فعادةً ما يتعامل Llama 3.1 8B بشكل أفضل مع الاستدلال الأصعب والتعليمات متعددة الخطوات، بينما يكون الشقيق 1B خيارًا فقط حين تكون في ضائقة حقيقية مع الذاكرة وتقبل بإجابات أضعف. السمة الحقيقية لـ 3B أنه أصغر Llama لا يزال يبدو رفيق محادثة كفؤًا لا مجرد لعبة. تنبيه واحد: يأتي بترخيص Llama Community، وهو مفتوح الأوزان (open-weight) لكنه يحمل شروط Meta الخاصة، لذا فهو ليس مفتوح المصدر بالمعنى المجرّد. راجع تلك الشروط قبل بناء منتج عليه.