هل يمكنني تشغيل Gemma 4 E4B؟

Gemma 4 E4B هو نموذج Google الصغير القائم على مزيج الخبراء (MoE)، وهو خيار مناسب إذا أردت مساعدًا محليًا يقرأ الصور أيضًا. الحيلة في بنية MoE أن نحو 4.5B فقط من معاملاته البالغة 8B تُفعَّل لكل رمز، فيعمل بسرعة نموذج أصغر بكثير مع حاجته إلى مساحة تكفي النموذج كاملًا في الذاكرة. بدقة 4-bit يبلغ حجمه نحو 4.9 GB، وهو ما يلائم بطاقة بسعة 12 GB مثل RTX 3060 مع هامش وافر، ويستقر بسهولة ضمن الذاكرة الموحدة على جهاز Apple Silicon Mac بسعة 8 GB. خطّط للنموذج الكامل، لا للشريحة المفعَّلة فقط.

في الاستخدام اليومي يبدو سريعًا. على RTX 3060 يمكنك توقّع نحو 112 tok/s بدقة 4-bit، أما البطاقات الراقية مثل RTX 4090 فتتجاوز 300، أسرع مما تستطيع قراءته على الإطلاق. على Apple Silicon يقترب M-Max من 128 tok/s، وحتى المعالج المركزي على ذاكرة DDR5 يحقق نحو 19 tok/s إن كنت صبورًا. نافذة السياق البالغة 128K حقيقية لكنها مكلفة: املأها وترتفع الذاكرة الكلية إلى نحو 21.7 GB، أي أبعد بكثير مما توحي به الأوزان وحدها. أبقِ سياق العمل عند بضعة آلاف من الرموز على الأجهزة الأصغر وستبقى مرتاحًا.

بالمقارنة مع Gemma 3 4B، الشقيق الأخف في العائلة، يميل E4B إلى منحك مخرجات أقوى مع الحفاظ على بصمة مفعَّلة صغيرة مماثلة، وكلاهما يدعم الرؤية، فهو الخيار الافتراضي الأفضل ما لم تكن شحيح الذاكرة فعلًا. ميزته البارزة هي ذلك التوازن بين السرعة والجودة في بنية MoE: محادثة وفهم للصور بزمن استجابة نموذج صغير. أما الترخيص فهو الجزء السهل. يعني Apache 2.0 أنه يمكنك استخدامه بحرية، بما في ذلك تجاريًا وفي بيئة الإنتاج، دون أي قيود خاصة بالمزوّد. وهذا يجعله واحدًا من أبسط النماذج المحلية لإطلاق منتج فعلي عليه.