هل يمكنني تشغيل Devstral 24B؟

Devstral 24B هو نموذج Mistral AI المتخصص في البرمجة، مصمَّم لمن يريد وكيلاً محلياً قادراً على مهام تطوير البرمجيات لا رفيق محادثة عام. بـ 24B معاملاً كثيفاً (dense) فهو ليس خفيف الوزن: تأتي نسخة الـ 4-bit عند نحو 14.6 GB، ويحتاج النموذج إلى ما لا يقل عن 24 GB من الـ RAM ليعمل بأريحية. هذا يضعه خارج متناول بطاقة بسعة 12 GB مثل RTX 3060، فهو ببساطة لا يتسع فيها. موطنه الطبيعي بطاقة GPU بسعة 24 GB مثل RTX 4090، أو جهاز Apple Silicon Mac بذاكرة موحَّدة وفيرة. وإن ضاقت بك المساحة، تنخفض نسخة الـ 2-bit إلى نحو 10.1 GB.

في الاستخدام البرمجي اليومي على RTX 4090 يمكنك توقّع نحو 59 tok/s عند 4-bit، وهي سرعة كافية لتدفّق الكود المُولَّد بسلاسة أثناء قراءتك له. على Apple M-series Max يستقر الرقم قرب 24 tok/s، وهو لا يزال صالحاً تماماً للعمل التفاعلي، بينما يهبط على الـ CPU وحده مع ذاكرة DDR5 إلى نحو 4 tok/s، وهي منطقة تتطلّب صبراً. نافذة السياق 128K كبيرة فعلاً، لكنها ليست مجانية: ملؤها يرفع إجمالي الذاكرة إلى نحو 42.1 GB، أي أبعد بكثير من بصمة النموذج في حالة السكون، فأبقِ سياق العمل معتدلاً ما لم تتوفر لديك سعة فائضة.

مقارنةً بأبناء عائلته، يُعدّ Devstral 24B الثقيل: فـ Mistral 7B وMistral Nemo 12B أخفّ بكثير وموجَّهان للمحادثة العامة، لذا يعملان على عتاد لا يستطيع Devstral الاقتراب منه، لكنهما يتأخّران عنه عموماً في مهام البرمجة الفعلية. المقارنة الأقرب هي Gemma 4 26B A4B، وهو نموذج بحجم مماثل يتولّى البرمجة إلى جانب المحادثة والاستدلال والرؤية، ويميل إلى أن يكون المتعدد المهام الأكثر مرونة إن أردت نموذجاً واحداً لكل شيء. ميزة Devstral البارزة هي تركيزه الضيّق على الكود، وترخيص Apache 2.0 يعني أنه بإمكانك استخدامه بحرّية، بما في ذلك في الإنتاج التجاري.