هل يمكنني تشغيل Granite 3.3 8B؟

نموذج Granite 3.3 8B هو إسهام IBM في فئة الدردشة المزدحمة بحجم 8B، وهو موجَّه تحديدًا لمن يريد مساعدًا محليًا موثوقًا يمكنه فعليًا الاعتماد عليه في الإنتاج. بـ 8.2 مليار معامل، يصل حجمه إلى نحو 5 GB عند التكميم 4-bit، فيتسع على بطاقة رسومات بسعة 8 GB، ويعمل ضمن الذاكرة الموحَّدة على أي جهاز Mac بمعالج Apple Silicon، ويعني الحد الأدنى البالغ 8 GB من الذاكرة أنه في متناول أجهزة عادية إلى حد بعيد. وإن احتجت إلى حجم أصغر، فإن بناء 2-bit ينزل إلى نحو 3.4 GB، لكنك تضحّي بالجودة مقابل ذلك.

في الاستخدام اليومي، يبدو سريعًا وثابتًا في الدردشة. على بطاقة RTX 3060 12 GB ستحصل على نحو 62 tok/s عند 4-bit، أسرع بمريح من سرعة قراءتك، بينما ترفع RTX 4090 ذلك إلى نحو 172 tok/s. ويستقر معالج M-series Max قرب 70 tok/s، في حين أن التشغيل على المعالج وحده مع ذاكرة DDR5 أقرب إلى 10 tok/s ويُفضَّل حجزه للأعمال الخلفية التي تحتمل الانتظار. ونافذة السياق 128K حقيقية، لكن عاملها كسقف: ملؤها بالكامل يرفع إجمالي الذاكرة إلى نحو 22 GB، لذا على بطاقة بسعة 8 GB أبقِ سياق العمل عند بضعة آلاف من الرموز.

بمقارنته بأقرانه، يبقى Granite 3.3 8B النموذج العملي الكادح لا النجم اللامع. فنموذج Qwen 3 8B، المماثل له في الحجم تقريبًا، يتفوق عمومًا في المطالبات التي تتطلب استدلالًا كثيفًا وخطوات متعددة، وإن احتجت إلى قوة برمجية حقيقية فإن Granite 4.0 H Small الأكبر بكثير هو الخيار الأنسب. وما يقدّمه هذا النموذج بدلًا من ذلك هو وضوح الترخيص: فهو بترخيص Apache 2.0، أي يمكنك استخدامه تجاريًا وفي الإنتاج دون قيود خاصة بالمزوّد. وبالنسبة إلى شركة تريد نموذج دردشة صغيرًا ويمكن التنبؤ بسلوكه وتنشره دون تردد قانوني، فإن هذا الانفتاح هو الجاذبية الحقيقية.