هل يمكنني تشغيل Devstral Small 2 24B؟

Devstral Small 2 هو نموذج البرمجة من Mistral بحجم 24B، والاسم لا يوحي بحجم العتاد الذي يحتاجه فعليًا. عند تكميم 4-bit تبلغ الأوزان نحو 14.6 GB، لذا فإن بطاقات 12 GB التي يملكها معظم الناس غير كافية: على RTX 3060 لن يتسع النموذج ببساطة. من الناحية الواقعية تحتاج إلى 24 GB من الذاكرة لتشغيله بأريحية، ما يعني عمليًا بطاقة رسومية بسعة 24 GB مثل 4090 أو جهاز Mac بمعالج Apple Silicon يوفّر 24 GB على الأقل من الذاكرة الموحّدة. إذا نزلت إلى تكميم 2-bit يتقلّص إلى نحو 10.1 GB، لكنها مقايضة قاسية في الجودة لنموذج هدفه الأساسي توليد كود دقيق.

على بطاقة 4090 يمكنك توقّع نحو 59 tok/s عند 4-bit، وهو معدّل ممتع فعلًا لحلقة برمجة وكيلية يقرأ فيها الملفات ويخطّط ويعدّل. على شريحة M-series Max يستقر أقرب إلى 24 tok/s، وهو لا يزال صالحًا للعمل التفاعلي لكنك تشعر به في التوليدات الطويلة. سياق 256K المعلن حقيقي ومفيد لتغذية مستودعات كاملة، لكن كن صريحًا بشأن التكلفة: حتى عند 128K تضع ورقة الحقائق إجمالي الذاكرة قرب 42.1 GB، أي أبعد بكثير من بطاقة واحدة بسعة 24 GB. تعامل مع السياق الكبير كأداة تلجأ إليها عن قصد، لا كإعداد افتراضي تتركه مفتوحًا.

مقارنةً بأشقائه، يُعدّ Devstral الخيار الجاد للعمل الحقيقي: فـ Mistral 7B و Mistral Nemo 12B أخفّ وأسهل في الاستضافة لكنهما أضعف عمومًا في مهام البرمجة متعددة الخطوات، بينما يُعدّ Gemma 4 26B A4B أقرب منافس في البرمجة والاستدلال ويستحق مقارنة جنبًا إلى جنب إذا توفّرت لديك الذاكرة. ما يميّز Devstral أنه بُني للتحرير البرمجي الوكيلي القائم على استخدام الأدوات بدلًا من الدردشة بضربة واحدة، وهذا التركيز يظهر في طريقة اتّباعه لخطة عبر عدة ملفات. الترخيص هو Apache 2.0، لذا يمكنك استخدامه تجاريًا وفي الإنتاج دون قيود، وهو أمر نادر لنموذج بهذه القدرة.