هل يمكنني تشغيل OLMo 2 13B؟

OLMo 2 13B هو نموذج المحادثة المفتوح بالكامل من Ai2، وما يميّزه يتعلق بشفافية مصدره بقدر ما يتعلق بأدائه: الأوزان وبيانات التدريب ووصفة التدريب كلها متاحة علنًا تحت رخصة Apache 2.0، لذا يمكنك استخدامه تجاريًا دون أي قلق بشأن الشروط. عند تكميم 4-bit يبلغ حجمه نحو 8.3 GB، وهو حجم كبير بعض الشيء على بطاقة سعتها 12 GB بمجرد احتساب الحمل الإضافي، لكنه يعمل بأريحية على بطاقة GPU سعتها 16 GB أو ضمن الذاكرة الموحّدة في أجهزة Mac بمعالج Apple Silicon. إن كنت مضغوطًا على الموارد، فإن نسخة 2-bit تنخفض إلى نحو 5.7 GB. خطّط لتوفّر نحو 12 GB من RAM كحدّ أدنى.

في الاستخدام اليومي يبدو رفيق محادثة متين ومتزن المزاج. على بطاقة RTX 3060 12 GB يمكنك توقّع نحو 37 tok/s عند تكميم 4-bit، وهي سرعة أعلى بمريح من سرعة قراءتك، بينما ترفعها بطاقة 4090 إلى نحو 103 tok/s. أما معالج M-series Max فيستقر قرب 42 tok/s. الأمر الوحيد الذي يجب وضعه نصب عينيك هو نافذة السياق البالغة 4K، وهي صغيرة بمقاييس عامَي 2024-2025. حتى عند بلوغ أقصاها لا يحتاج النموذج سوى نحو 9 GB إجمالًا، لكنك ببساطة لا تستطيع تغذيته بمستندات طويلة أو سجلات محادثة مترامية دون اقتطاعها، لذا تعامل معه كمساعد للأدوار القصيرة.

مقارنةً بفئته الحجمية، يُعدّ OLMo 2 13B الخيار المفتوح البيانات لا قائد القدرات الخام. فنماذج مثل Qwen 3 14B وPhi-4 14B تتفوّق عليه عمومًا في الاستدلال والمهام المنظَّمة، ويأتي كلاهما بنوافذ سياق أكبر بكثير إن كانت المدخلات الطويلة تهمّك. كما يضيف Ministral 3 14B دعم الرؤية، وهو ما لا يوفّره OLMo. ما يقدّمه OLMo ولا يقدّمه أيٌّ منها هو انفتاح حقيقي من الطرف إلى الطرف: إن كنت تهتم بمعرفة ما دخل في نموذجك بالضبط، أو كنت تعمل في البحث وقابلية إعادة الإنتاج، فهذا هو النموذج الذي تلجأ إليه. ورخصة Apache 2.0 تعني عدم وجود أي قيود على الاستخدام.