هل يمكنني تشغيل Nemotron 3 Nano 30B-A3B؟

Nemotron 3 Nano هو نموذج من نوع mixture-of-experts من NVIDIA موجَّه لمن يريد محادثة واستدلالاً وبرمجة بقوة عالية على جهاز محلي دون تحمّل التكلفة الكاملة لنموذج كثيف. الحيلة كامنة في الاسم: فهو يحمل 31.6B معاملاً إجمالاً، لكنه لا يُفعِّل سوى نحو 3.6B منها لكل رمز، فيولّد بسرعة نموذج صغير بينما يفكّر بقدرة نموذج أكبر بكثير. الفخ الذي يكتشفه كل قادم جديد إلى MoE بالطريقة الصعبة هو أنك لا تزال مضطرًا إلى تحميل النموذج بأكمله. عند تكميم 4-bit يبلغ حجم الأوزان نحو 19 GB، وتحتاج إلى 32 GB من RAM على الأقل، وهو ما يستبعد كليًا بطاقة بسعة 12 GB مثل RTX 3060.

في الاستخدام اليومي تظهر حيلة المعاملات المُفعَّلة بوضوح. على RTX 4090 يتدفق بنحو 393 tok/s، وهي سرعة هائلة لنموذج بهذه القدرة، وحتى جهاز Apple Silicon M Max يبقى قرب 160 tok/s على الذاكرة الموحَّدة. أما التشغيل على المعالج وحده مع DDR5 فينخفض إلى نحو 23 tok/s، وهو صالح للمهام الدفعية لكن ليس للمحادثة التفاعلية. الميزة البارزة هي نافذة سياق بحجم 1,000K، لكن تعامل معها كرقم دعائي: فعند 128K فقط من السياق يرتفع الاستهلاك الكامل للذاكرة إلى نحو 50 GB، لذا على جهاز بسعة 32 GB ستعمل واقعيًا بضع عشرات الآلاف من الرموز، لا بمليون.

بالمقارنة مع نظرائه، يُعدّ Gemma 4 31B الخيار الأكثر مرونة إن كنت تحتاج إلى الرؤية، إذ إن Nemotron 3 Nano نصّي فقط، بينما Granite 4.0 H Small بديل كثيف بحجم مماثل إن كنت تفضّل تجنّب غرائب ذاكرة MoE. ما يبرع فيه Nemotron هو نسبة الإنتاجية إلى الجودة: لا شيء آخر في هذه الفئة الحجمية يولّد بهذه السرعة مع قدرته في الوقت نفسه على معالجة الاستدلال متعدد الخطوات. تنبيه قبل أن تبني عليه: رخصة NVIDIA Open Model مفتوحة الأوزان، لا مفتوحة المصدر فعليًا، لذا اقرأ بنودها بعناية بدل افتراض حرية بأسلوب Apache للاستخدام التجاري.