هل يمكنني تشغيل Nemotron 3 Super 120B-A12B؟

نموذج Nemotron 3 Super 120B-A12B من NVIDIA هو نموذج قائم على مزيج الخبراء (MoE) موجَّه لمن يريدون استدلالاً وبرمجة من الطراز المتقدم على عتادهم الخاص ويملكون الذاكرة الكافية لذلك. ورغم أنه يحمل 120B معاملاً إجمالياً، لا يُنشَّط منها سوى 12B لكل توكن، لذا يعمل أسرع بكثير مما يوحي به حجمه، لكنه يظل بحاجة إلى مساحة تستوعب النموذج كاملاً. وهنا المشكلة: حتى بتكميم 4-bit يصل حجمه إلى نحو 72.8 GB، وتحتاج إلى 96 GB من الذاكرة على الأقل لتحميله. هذا ليس نموذجاً لبطاقة بسعة 8 GB. فبطاقة RTX 4090 بسعة 24 GB لا تستوعبه، وحتى نسخة 2-bit بحجم 50 GB تقريباً تبقى بعيدة المنال. المكان الواقعي لتشغيله هو جهاز Apple Silicon كبير بذاكرة موحَّدة أو خادم بذاكرة نظام وفيرة.

في الاستخدام اليومي يثبت تصميم MoE جدواه. على معالج Apple M Max يمكنك توقّع نحو 48 tok/s، وهو ما يبدو تفاعلياً بحق في الدردشة والاستدلال متعدد الخطوات والمساعدة البرمجية رغم وسم 120B. أما إن دفعته إلى المعالج المركزي مع ذاكرة DDR5 فستنخفض السرعة إلى نحو 7 tok/s، وهي صالحة للأعمال الدُّفعية لا للمحادثة الحيّة. نافذة السياق هائلة عند 1000K توكن، لكن عامِلها كسقف لا كإعداد تتركه على أقصاه. فحتى ملء 128K يرفع إجمالي الذاكرة إلى نحو 129.5 GB بعد احتساب ذاكرة KV المؤقتة، ولذلك على جهاز بسعة 96 GB ستنفد لديك المساحة قبل بلوغ الحد المُعلَن بكثير. أبقِ سياق العمل معتدلاً ما لم تكن لديك ذاكرة فائضة.

مقارنةً بأقرب أقربائه، يجلس Nemotron 3 Super في صحبة لافتة. فنموذج Qwen 3.5 122B-A10B هو نموذج MoE بحجم مماثل يدعم أيضاً الرؤية، وهو ما لا يفعله هذا النموذج، لذا إن كنت تحتاج إلى إدخال الصور فإن ذلك النموذج يتفوّق عموماً. ونموذج Mistral Small 4 119B مماثل في الحجم ومتعدد الوسائط أيضاً. وإن كان عتادك لا يصل إلى هذا الحد، فإن نموذج Nemotron 3 Nano 30B-A3B الأصغر بكثير هو البديل الخفيف من العائلة نفسها، وغالباً ما يكون الخيار العملي على الأجهزة المحدودة. ميزة Super البارزة هي تقديمه استدلالاً من فئة 120B بسرعة من فئة 12B لمن يستطيع استضافته. تحذير واحد: يُطرح بترخيص NVIDIA Open Model، لذا راجع تلك الشروط قبل الاعتماد عليه تجارياً بدلاً من افتراض حرية مفتوحة المصدر بالكامل.