هل يمكنني تشغيل Gemma 4 12B؟

Gemma 4 12B نموذج كثيف بحجم 12B يدعم الرؤية، مخصّص للمحادثة والبرمجة والاستدلال، وموجّه لمن يريد مساعدًا محليًا واحدًا قادرًا يقرأ الصور أيضًا. عند التكميم بدقة 4-bit يصل حجمه إلى نحو 7.3 GB، فيتّسع على بطاقة بسعة 12 GB مثل RTX 3060 مع مساحة كافية للسياق، ويستقرّ بأريحية في الذاكرة الموحّدة على أجهزة Apple Silicon Mac. يحتاج النموذج إلى نحو 12 GB من RAM كحدّ أدنى للتحميل. وإن كنت محدود الموارد، فإن نسخة 2-bit تنخفض إلى ما يقارب 5 GB، لكنك تضحّي بالجودة مقابل هذا التوفير.

في الاستخدام اليومي يولّد النصّ بسرعة تبلغ نحو 42 tok/s على RTX 3060، وهي سرعة كافية لتقرأ مع تدفّق الإجابة، ونحو 48 tok/s على معالج M-series Max. وتدفعه بطاقة RTX 4090 إلى ما يتجاوز 100. نافذة السياق البالغة 256K سخيّة، لكن تعامل معها كهامش إضافي لا كإعداد افتراضي. فحتى عند سياق 128K يرتفع مجموع النموذج مع ذاكرة KV cache إلى نحو 27.4 GB إجمالًا، أي أبعد بكثير من سعة بطاقة واحدة بحجم 12 GB، ما يعني أنك ستلجأ إلى ذاكرة النظام أو ستتباطأ بشدّة. أبقِ سياق العمل عند بضعة آلاف من التوكنات على العتاد الاستهلاكي.

مقارنةً بنموذج Gemma 3 4B الأخفّ، يتفوّق إصدار 12B عمومًا في الاستدلال متعدّد الخطوات والبرمجة، وهذه هي المقايضة التي تدفع ثمنها من الذاكرة الإضافية؛ أما Gemma 3 4B فهو الخيار إن كنت محدود الموارد أو تحتاج إلى المحادثة والرؤية فقط. الميزة اللافتة هنا أن الرؤية والاستدلال النصّي القوي يأتيان معًا في نموذج واحد لا يزال يعمل على بطاقة GPU متوسطة الفئة. كما أن الرخصة نظيفة: رخصة Apache 2.0 تعني أنه يمكنك استخدامه تجاريًا وفي بيئة الإنتاج دون قيود خاصة بمزوّد معيّن.