هل يمكنني تشغيل Mistral Small 3.1 24B؟

Mistral Small 3.1 24B هو الخيار الذي تلجأ إليه حين يخذلك نموذج 8B باستمرار في المهام الأصعب لكنك لا تريد القفز إلى نموذج 70B. إنه نموذج محادثة ورؤية بحجم 24B، أي أنه يقرأ الصور كما يقرأ النص، ويأتي برخصة Apache 2.0، ما يعني أنه يمكنك استخدامه تجاريًا وفي بيئة الإنتاج دون أي قيود. العائق هو البصمة: بتكميم 4-bit يصل حجمه إلى نحو 14.6 GB، وتحتاج إلى ما يقارب 24 GB من الذاكرة لتشغيله بأريحية. هذا يستبعد بطاقة بسعة 12 GB مثل RTX 3060، حيث لا يتسع أصلًا، ويوجهك نحو معالج رسوميات بسعة 24 GB أو جهاز Apple Silicon Mac بذاكرة موحّدة وفيرة.

على بطاقة بسعة 24 GB مثل RTX 4090 يعمل بسرعة تقارب 59 tok/s عند 4-bit، وهو ما يتدفق أسرع من قراءتك ويبدو سريعًا فعلًا لنموذج بهذا الحجم. على معالج M-series Max ستحصل على ما يقرب من 24 tok/s، وهي سرعة لا تزال صالحة تمامًا للمحادثة التفاعلية. أما التشغيل على المعالج وحده باستخدام ذاكرة DDR5 فينخفض إلى نحو 4 tok/s، وهو مقبول لمهمة دفعية تجري طوال الليل لكنه غير مناسب للانتظار أمام الشاشة. نافذة السياق 128K حقيقية لكنها مكلفة: إذا ملأتها بالكامل يرتفع إجمالي الذاكرة إلى نحو 42 GB، وهو أكثر بكثير مما يحتاجه النموذج عند سياق قصير، لذا أبقِ السياق العملي متواضعًا ما لم يكن لديك فائض في الذاكرة.

في مواجهة عائلته هو الأثقل وزنًا: Mistral Nemo 12B هو الخيار الأخف والأسرع إن كنت محدود الذاكرة، وMistral 7B هو الخيار الأدنى الممكن، لكن أيًّا منهما لا يضاهي Small 3.1 في الاستدلال الأصعب أو اتباع التعليمات. أما Gemma 4 26B A4B فهو المنافس الأقرب من حيث القدرة الخام ويضيف نقاط قوة في البرمجة والاستدلال، فقارن بينهما إن كانت تلك المهام الأهم لديك. الميزة البارزة في Small 3.1 هي تلك التركيبة التي نادرًا ما تجتمع: رؤية أصلية، وسياق طويل، ورخصة Apache 2.0 المتساهلة تمامًا، ما يجعله من أسهل النماذج القادرة التي يمكن إطلاقها فعليًا ضمن منتج.