هل يمكنني تشغيل Qwen 3.6 35B-A3B؟

Qwen 3.6 35B-A3B هو نموذج قائم على مزيج من الخبراء (Mixture-of-Experts)، وهذه هي القصة كاملة بشأن مَن يناسبه. يحمل 35B معاملًا إجماليًا لكنه يُفعِّل 3B فقط لكل توكن، فيعمل بسرعة نموذج صغير بينما يتطلب ذاكرة نموذج كبير. عند تكميم 4-bit تستقر الأوزان عند نحو 21.2 GB، لكن النموذج لا يزال يحتاج إلى حوالي 32 GB من الـ RAM كحد أدنى ليحتفظ بمجموعة الخبراء كاملة. هذا يستبعد بطاقة بسعة 12 GB مثل RTX 3060 إذ لا يتسع عليها. أنسب بيئاته هي RTX 4090 بسعة 24 GB أو جهاز Mac بمعالج Apple Silicon مزوّد بذاكرة موحّدة وفيرة.

في الاستخدام اليومي يؤتي حساب الـ 3B النشطة ثماره: على 4090 قد ترى نحو 471 tok/s، وعلى M-series Max نحو 192، وهو أسرع من معظم النماذج الكثيفة التي تساوي ثلث حجمه. حتى الاستدلال على المعالج المركزي مع DDR5 يحقق نحو 28 tok/s، وهو صالح للأعمال المجمّعة. يتعامل مع المحادثة والاستدلال والبرمجة والرؤية، فيستحق مكانه نموذجًا محليًا واحدًا يقوم بكل شيء. نافذة السياق 256K سخية، لكن العقبة هي الذاكرة: ملء 128K فقط يرفع البصمة الإجمالية إلى نحو 53.8 GB، لذا يتطلب العمل بالسياق الطويل جهازًا بذاكرة 64 GB لا بطاقة بسعة 24 GB.

مقابل النموذج الكثيف Command R 35B ضمن العائلة نفسها، يبدو هذا الـ MoE عمومًا أسرع بكثير عند الحجم الاسمي ذاته، إذ تدفع ذاكرة 35B لكنك تحسب كما لو كان 3B. المقايضة هي المعتادة في نماذج MoE: قد يحتفظ نموذج كثيف بسعة 35B أحيانًا بأفضلية في أصعب مهام الاستدلال من محاولة واحدة، رغم أن السرعة تنتصر في معظم الأعمال. ميزته البارزة هي نسبة السرعة إلى القدرة، إضافة إلى رؤية أصلية في حزمة واحدة. الرخصة هي Apache 2.0، فأنت حرّ في استخدامه تجاريًا وفي بيئة الإنتاج دون أي قيود من المزوّد.