هل يمكنني تشغيل Qwen 3.5 35B-A3B؟

نموذج Qwen 3.5 35B-A3B هو نموذج مزيج من الخبراء (MoE) يقوم على حيلة ذكية في جوهره: من بين 35B معاملًا إجماليًا، يَنشط نحو 3B فقط لكل توكن. لذا فهو يولّد بسرعة نموذج صغير بينما يستند إلى معرفة نموذج كبير. لكن العقبة في الذاكرة: عليك تحميل النموذج كاملًا في RAM، فخطّط على أساس البصمة الكاملة لا الشريحة النشطة. عند التكميم 4-bit يقترب من 21 GB، وستحتاج إلى 32 GB من ذاكرة النظام على الأقل. بطاقة RTX 3060 بسعة 12 GB لن تتسع له، فعمليًا هذا نموذج لبطاقة GPU بسعة 24 GB أو لجهاز Apple Silicon عالي الذاكرة.

بمجرد أن يتسع، يثمر تصميم MoE ويبدو سريعًا بالنسبة لفئة وزنه. على بطاقة RTX 4090 قد ترى نحو 471 tok/s، وعلى Apple M Max نحو 192، وكلاهما سريع بما يكفي ليسبق الجواب سرعة قراءتك. أما المعالج CPU على ذاكرة DDR5 فيحقق نحو 28 tok/s، وهو بطيء لكنه صالح للعمل الدُفعي. يتعامل النموذج مع الدردشة والاستدلال والبرمجة والرؤية، مع نافذة سياق سخية تبلغ 256K. لكن تعامَل مع هذا السقف بحذر: عند سياق 128K تتسلّق بصمة الذاكرة الإجمالية إلى نحو 53.8 GB، لذا تتطلب جلسات السياق الطويل جهازًا ضخمًا فعلًا، لا مجرد ما يكفي لتحميل الأوزان.

في مقابل Command R 35B، وهو نموذج كثيف بالحجم نفسه يستحق المقارنة، يكمن الفارق الحقيقي في بنية MoE لا في عدد المعاملات: الحجم الاسمي ذاته، لكن Qwen يميل إلى العمل أسرع بكثير لكل توكن لأن 3B فقط نشطة. هذه النسبة بين السرعة والقدرة هي ميزته البارزة، إذ يمنحك توليدًا شبه فوري من نموذج يحمل معرفة بحجم 35B، إضافةً إلى دعم الرؤية متعدد الوسائط. أما نموذجا Qwen 3 0.6B و1.7B الأصغر فهما الخياران إن كنت مقيّدًا بالذاكرة وتحتاج دردشة أساسية فقط. الترخيص هو الجزء السهل: Apache 2.0 يعني أنه يمكنك استخدامه بحرية، بما في ذلك الاستخدام التجاري وفي الإنتاج، دون أي شروط خاصة بالمزوّد تحتاج إلى قراءتها.