هل يمكنني تشغيل Gemma 3 12B؟

Gemma 3 12B هو نموذج Google متوسط الحجم مفتوح الأوزان، ويحتل موقعاً مفيداً لمن يريد قدرة أكبر من نماذج الدردشة المعتادة بحجم 7-8B دون الانتقال إلى ما يتطلب محطة عمل. عند تكميم 4-bit يبلغ حجمه نحو 7.4 GB، وهو ما يلائم بطاقة بسعة 12 GB مثل RTX 3060 مع هامش بسيط، ويعمل بسلاسة في الذاكرة الموحّدة على أجهزة Apple Silicon Mac بسعة 16 GB فأكثر. الحد الأدنى لتحميله أصلاً هو 12 GB من الـ RAM. كما أنه يتعامل مع الرؤية، فيمكنك تغذيته بالصور إلى جانب النص، وهو ما تعجز عنه معظم النماذج بهذا الحجم.

في الاستخدام اليومي يبدو سريع الاستجابة على العتاد الاستهلاكي. على RTX 3060 12GB تحصل على نحو 41 tok/s عند 4-bit، أسرع مما تقرأ، وترفع شريحة Apple M Max ذلك إلى نحو 47 tok/s. أما بطاقة 4090 فستنطلق بنحو 116 tok/s إن توفرت لديك. نافذة السياق 128K هي المأخذ: إنها موجودة فعلاً، لكن ملأها مكلف. عند 128K الكاملة يحتاج النموذج مع ذاكرة KV cache إلى نحو 27.7 GB إجمالاً، أي أبعد بكثير مما تتسع له بطاقة بسعة 12 GB، لذا أبقِ سياق العمل متواضعاً ما لم تكن لديك بطاقة GPU بسعة 24 GB أو قدر وافر من الذاكرة الموحّدة.

مقابل Mistral Nemo 12B، البديل الواضح بالحجم نفسه، يتفوق Gemma 3 12B عموماً في اتباع التعليمات والعمل متعدد الوسائط لأن Nemo نصي فقط، وإن كان Nemo يميل لأن يكون الخيار الأخف في دردشة السياق الطويل البحتة. وإن أردت البقاء أصغر، فإن Gemma 3 4B يخفّض البصمة مع الإبقاء على الرؤية. ميزة Gemma 3 12B البارزة هي كونه نموذج رؤية ودردشة قادراً يعمل مع ذلك على بطاقة GPU واحدة متوسطة الفئة. تنبيه واحد: يأتي بترخيص Gemma من Google، وهو مفتوح الأوزان لكنه يحمل شروطاً خاصة بالمزوّد، فاقرأها قبل أي نشر تجاري بدلاً من افتراض أنه مفتوح المصدر بالكامل.