هل يمكنني تشغيل Mistral 7B؟

نموذج Mistral 7B هو أول من أثبت فعليًا أن نموذجًا لغويًا صغيرًا مفتوح الأوزان يمكن أن يكون مفيدًا بحق، وما زال خيارًا منطقيًا لكل من يريد مساعد محادثة محليًا خفيفًا. بكمّنة 4-bit يبلغ حجمه نحو 4.4 GB، فيتسع بأريحية على بطاقة رسومات بسعة 8 GB، ويعمل بسهولة ضمن الذاكرة الموحّدة على أي جهاز Mac يعمل بمعالج Apple Silicon، بل إن بناءً بكمّنة 2-bit بحجم 3 GB تقريبًا متاح أيضًا إن كنت تحاول تشغيله على عتاد أقدم. ورخصته Apache 2.0 من أكثر الرخص تساهلًا: مجاني للاستخدام التجاري، دون أي قيود من المزوّد.

في الاستخدام اليومي يتميز بالسرعة والثبات في المحادثة والملخصات القصيرة. على بطاقة RTX 4090 يبلغ نحو 196 tok/s بكمّنة 4-bit، وحتى بطاقة RTX 3060 12GB المتواضعة تحافظ على نحو 70 tok/s، وهو أسرع من قدرتك على القراءة؛ أما معالج M-series Max فيقترب من 80 tok/s. ونافذة السياق البالغة 32K مريحة لكنها ليست هائلة، وملؤها بالكامل يرفع إجمالي الذاكرة إلى نحو 8.4 GB، لذا على بطاقة محدودة بسعة 8 GB يُستحسن إبقاء السياق العامل متواضعًا بدلًا من حشو النافذة كاملةً.

التحفّظ الصادق هنا هو العمر: فقد صدر في أواخر عام 2023، وهو يتأخر عن النماذج الصغيرة الأحدث في الاستدلال الأصعب واتباع التعليمات، ويتعامل Mistral Nemo 12B عمومًا بشكل أفضل مع المطالبات الأطول والأكثر تطلبًا إن كانت الذاكرة لديك تسمح بذلك. وفي البرمجة تحديدًا، يميل Qwen 2.5 Coder 7B إلى أن يكون الخيار الأقوى عند حجم مماثل. أما حيث يبقى Mistral 7B متفوقًا فهو البساطة والانتشار: فهو صغير جدًا، ومفتوح بالكامل تحت رخصة Apache 2.0، وتدعمه سنوات من الأدوات خلف وسم 'mistral' البسيط في Ollama، مما يجعله أساسًا موثوقًا لا مفاجآت فيه.