هل يمكنني تشغيل Gemma 4 26B A4B؟

Gemma 4 26B A4B هو نموذج Google من نوع mixture-of-experts (MoE)، والحيلة كامنة في الاسم نفسه: يحمل 25.2B معاملاً إجمالاً لكنه يوجّه 3.8B منها فقط لكل توكن. هذا يعني أنه يولّد النص بسرعة نموذج صغير، غير أنك تحتاج إلى احتواء النموذج كاملاً في الذاكرة. مع تكميم 4-bit يستقر عند نحو 15.3 GB، وتحتاج إلى 24 GB من RAM على الأقل لتحميله بأريحية. وهذا يستبعد تماماً بطاقة بسعة 12 GB مثل RTX 3060؛ فالنموذج ببساطة لا يتسع فيها، ويوجّهك إما إلى GPU بسعة 24 GB أو إلى جهاز Apple Silicon بذاكرة موحّدة وفيرة.

في الاستخدام اليومي يُثبت تصميم MoE جدارته. على بطاقة RTX 4090 يولّد نحو 372 توكن في الثانية، أي تدفق أسرع بكثير من سرعة قراءتك، وشريحة M-series Max لا تزال تعطي قرابة 151 tok/s. أما التشغيل على المعالج وحده مع DDR5 فيهبط إلى نحو 22 tok/s؛ يفي بالغرض للمهام الدفعية لكن ليس للدردشة التفاعلية. نافذة السياق سخية وتبلغ 256K، لكن اعتبرها سقفاً أعلى: عند سياق 128K يرتفع إجمالي بصمة الذاكرة إلى نحو 43.4 GB. لذلك على إعداد بسعة 24 GB ستُبقي سياق العمل معتدلاً ما لم تنزل إلى إصدار q2 الذي يبلغ 10.6 GB.

بالمقارنة مع Mistral Small 3.1 24B، وهو نموذج رؤية كثيف (dense) قريب في الحجم، يبدو Gemma 4 أكثر رشاقة لكل توكن بفضل التوجيه المتفرّق (sparse)، وإن كانت النماذج الكثيفة من هذه الفئة قد تتفوّق في أصعب مهام الاستدلال ذات المرور الواحد. ميزته البارزة هي نسبة السرعة إلى القدرة هذه، إلى جانب دعم حقيقي للرؤية والبرمجة في حزمة واحدة. رخصته Apache 2.0، أي يمكنك استخدامه تجارياً وفي بيئات الإنتاج دون قيود خاصة بالمزوّد؛ وهو أمر نادر في هذا الحجم وميزة قوية تصب في صالح النموذج. يمكنك سحبه عبر ollama باسم gemma4:26b.