هل يمكنني تشغيل Granite 4.0 H Small؟

نموذج Granite 4.0 H Small من IBM يعتمد على بنية mixture-of-experts: لديه 32B معامل على الورق، لكن نحو 9B فقط نشطة لكل توكن. هذا الانقسام هو جوهر القصة كلها. يعمل بسرعة مقارنةً بحجمه لأن كل توكن يمر على جزء صغير من الأوزان، لكنك مع ذلك مضطر إلى تحميل النموذج كاملاً في الذاكرة، فخطّط بناءً على الحد الأدنى البالغ 32 GB لا بناءً على عدد المعاملات النشطة. عند تكميم 4-bit يصل حجمه إلى نحو 19.4 GB، وهو ما يستبعد تماماً بطاقة بسعة 12 GB مثل RTX 3060 ويوجّهك بدلاً من ذلك إلى بطاقة بسعة 24 GB أو جهاز Apple Silicon Mac بذاكرة موحّدة وفيرة. النموذج موجّه لأعمال الدردشة والبرمجة، لا للتجريب العابر على حاسوب محمول.

على بطاقة RTX 4090 يبلغ أداؤه نحو 157 توكن في الثانية، وهو أسرع بكثير من سرعة القراءة ويجعله مريحاً لجلسات البرمجة التفاعلية. على شريحة M-series Max تتوقع نحو 64 tok/s، وهو لا يزال مريحاً، أما المعالجة على CPU وحده مع ذاكرة DDR5 فتنخفض إلى نحو 9 tok/s، صالحة لمهام الدفعات لكن ليس للدردشة الحية. سياق الـ 128K حقيقي، لكنه مكلف: إذا ملأته يرتفع إجمالي الذاكرة إلى نحو 50.7 GB، لذا على بطاقة بسعة 24 GB لا يمكنك فعلياً العمل قرب الحد الأقصى. أبقِ السياق العملي معتدلاً ما لم يكن لديك جهاز Mac بذاكرة 64 GB يمكنك تخصيصه.

بمقارنته مع Qwen 3 32B، وهو نموذج dense بحجم إجمالي مماثل، يبدو Granite عموماً أخف على العتاد بفضل تصميم MoE، رغم أن Qwen 3 يميل إلى التفوّق في مهام الاستدلال الأثقل لأنه يفعّل كل معاملاته مع كل توكن. إن أردت شيئاً أصغر وأبسط، فإن نموذج Granite 3.3 8B الـ dense هو الخيار الأسهل على البطاقات المتواضعة. أبرز ما يميّز Granite 4.0 H Small أنه نموذج من فئة 32B سريع فعلاً ويمكنك استضافته ذاتياً، وهو يُطرح بترخيص Apache 2.0، فأنت حرّ في استخدامه تجارياً دون أي قلق بشأن الترخيص.