هل يمكنني تشغيل Gemma 3n E4B؟

نموذج Gemma 3n E4B هو نموذج Google الصغير متعدد الوسائط، مصمَّم للمحادثة والرؤية، وموجَّه مباشرةً لمن يريد مساعِدًا محليًا قادرًا يستطيع كذلك تحليل الصور. على الورق يحمل 7.8B معاملًا، لكنه بتصميم مزيج خبراء (mixture-of-experts): لا يُفعَّل سوى نحو 4B معامل لكل رمز (token)، فيعمل أسرع بوضوح مما يوحي به حجمه الكامل. عند التكميم بدقة 4-bit ينزل إلى نحو 4.7 GB، وهو ما يتسع له كرت رسوميات بسعة 8 GB مثل RTX 3060 مع فسحة إضافية، ويستقر بسهولة في الذاكرة الموحَّدة لأي جهاز Mac حديث بمعالج Apple Silicon. لكن المأخذ على نهج MoE أنك لا تزال مضطرًا للاحتفاظ بالنموذج كاملًا في الذاكرة، فخطِّط لما لا يقل عن 8 GB من RAM مهما قلَّ عدد الخبراء المُفعَّلين.

في الاستخدام اليومي يبدو سريعًا. على بطاقة RTX 3060 12GB يمكنك توقّع نحو 126 رمزًا في الثانية بدقة 4-bit، وترفعها 4090 إلى ما يقارب 353، وكلاهما يتجاوز سرعة القراءة بكثير؛ ويستقر معالج M-series Max قرب 144، بل يدبّر المعالج المركزي وحده على ذاكرة DDR5 نحو 21 رمزًا في الثانية، وهو قابل للاستخدام إن لم تكن في عجلة. أما جانب الرؤية فهو السبب الحقيقي لاختياره بدل نموذج يعالج النص فقط بهذا الحجم. يبلغ السياق (context) حدّه الأقصى عند 32K، وهو مريح للمحادثة وأسئلة المستندات، لكنه ليس نموذج سياق طويل قادرًا على الأعمال الثقيلة. وحين تملأ تلك النافذة ترتفع الذاكرة الكلية إلى نحو 8.8 GB، لذا على بطاقة بسعة 8 GB أبقِ سياق العمل معتدلًا.

في مواجهة Llama 3.1 8B، البديل الواضح المعالِج للنص فقط في فئته، يتنازل Gemma 3n E4B عمومًا عن بعض عمق الاستدلال الخام مقابل أمرين لا تستطيع Llama تقديمهما ضمن هذه البصمة من الذاكرة: فهم الصور أصليًا (native) وميزة السرعة من بنية MoE. إن كنت تحتاج النص فقط، فإن Gemma 3 4B هو الشقيق الأخف، وLlama 3.1 8B الخيار الأكثر أمانًا للمحادثة الصرفة. وما يميّز Gemma 3n E4B أنه نموذج رؤية ومحادثة قابل للاستخدام فعلًا ومع ذلك يتسع داخل 8 GB. ملاحظة بشأن الترخيص: ترخيص Gemma مفتوح الأوزان (open-weight) لا مفتوح المصدر، ويأتي بشروط استخدام خاصة بـ Google، فاقرأها قبل الإطلاق، وإن كان الاستخدام التجاري مسموحًا به.