هل يمكنني تشغيل Mellum 2 12B-A2.5B؟

Mellum 2 هو نموذج JetBrains المتخصص في البرمجة، وقد بُني بأسلوب mixture-of-experts: 12B معاملاً إجمالاً لكن نحو 2.5B فقط نشطة لكل token. هذا هو جوهر التصميم بالضبط. تحصل على سرعة نموذج بحجم 2-3B تقريباً، لكنك تبقي الـ 12B كاملة في الذاكرة، فلا تنخدع بعدد المعاملات النشطة. عند تكميم 4-bit يصل حجمه إلى نحو 7.3 GB، مع حدّ أدنى عملي يقارب 12 GB من الـ RAM. هذا يناسب بطاقة بسعة 12 GB مثل RTX 3060 أو الذاكرة الموحّدة في أجهزة Mac بمعالج Apple Silicon، لكن 8 GB ضيّقة جداً. إن كنت تعيش داخل بيئات JetBrains وتريد إكمال كود محلياً، فهو مصمّم لك تماماً.

في الاستخدام اليومي يؤتي تصميم MoE ثماره: يبدو أسرع بكثير مما يوحي به حجمه. على RTX 3060 12GB يمكنك توقّع نحو 202 token في الثانية عند 4-bit، بينما تتجاوز RTX 4090 حاجز 565 — وهو نطاق تصل فيه الإكمالات قبل أن تنتهي من كتابة السطر التالي. سياق 128K كبير فعلاً بالنسبة لنموذج برمجة، ومفيد لتلقيمه ملفات كاملة أو رؤوس مستودع بأكمله، لكنه ليس مجانياً. إن ملأته بالكامل ترتفع الذاكرة الإجمالية إلى نحو 27.4 GB، أي أبعد بكثير مما تستوعبه بطاقة واحدة بسعة 12 GB، لذا أبقِ سياق العمل معتدلاً ما لم تملك بطاقة GPU بسعة 24 GB أو ذاكرة موحّدة سخيّة.

من الإنصاف توضيح النطاق: هذا متخصص في البرمجة، وليس مساعداً عاماً. للدردشة أو الاستدلال أو أي شيء يتعلق بالصور، يخدمك عادةً نموذج 12B أوسع مثل Gemma 4 12B بشكل أفضل، ويميل Mistral Nemo 12B لأن يكون الخيار الألطف للمحادثات المفتوحة. ميزة Mellum 2 البارزة هي نسبة السرعة إلى الحجم التي يوفّرها أسلوب MoE في مهام الإكمال، مقترنةً بتكامل من الدرجة الأولى مع بيئة التطوير من الجهة نفسها التي تصنع محرّرك. أما الرخصة فهي الجزء السهل: Apache 2.0، فيمكنك استخدامه تجارياً وفي بيئة الإنتاج دون قلق قانوني. إن كان عملك الأساسي هو الكود ولديك بطاقة بسعة 12 GB، فهو خيار محلي قوي وسريع.