هل يمكنني تشغيل Gemma 3 1B؟

نموذج Gemma 3 1B هو نموذج محادثة صغير جدًا من Google، صُمِّم للحالات التي تريد فيها مساعدًا محليًا يُحمَّل فورًا ويعمل في أي مكان تقريبًا. بتكميم 4-bit يبلغ حجمه نحو 0.6 GB فقط، وحتى نسخة 8-bit تبلغ تقريبًا 1.1 GB، لذا يتسع داخل 3 GB من الذاكرة مع فائض مريح. هذا يعني أنه يعمل على حاسوب محمول قديم، أو جهاز من فئة Raspberry Pi، أو شريحة بمستوى الهواتف دون الحاجة إلى GPU منفصل. إذا كنت تبحث عن شيء للمحادثة السريعة أو الصياغة أو التضمين داخل تطبيق يهمّك فيه كل ميغابايت، فهذا هو النموذج المناسب.

في الاستخدام اليومي، العنوان الأبرز هو السرعة الخام. على بطاقة RTX 4090 يبلغ نحو 1413 tok/s، وبطاقة RTX 3060 الأكثر شيوعًا تحقق نحو 505 tok/s، بينما يصل Apple M Max إلى نحو 575 tok/s. وحتى على المعالج وحده مع ذاكرة DDR5 يدير قرابة 84 tok/s، أي أسرع مما يمكنك قراءته. نافذة السياق هي 32K، وعلى عكس النماذج الأكبر يمكنك ملء جزء كبير منها بتكلفة زهيدة: عند 32K الكاملة يبقى المجموع كله نحو 2.2 GB، فالذاكرة ليست أبدًا ما يوقفك هنا.

الصدق بشأن حجمه مهمّ: عند 1B من المعاملات، هذا ليس نموذج استدلال أو برمجة، وسيفقد خيط المتابعة في التعليمات الطويلة متعددة الخطوات. إذا توفّرت لديك سعة إضافية، فإن Gemma 3 4B يتعامل عمومًا مع المطالبات الأصعب ويضيف الرؤية، بينما يُعدّ Llama 3.2 1B البديل البديهي بالوزن نفسه للمقارنة في المحادثة العادية. ميزة Gemma 3 1B البارزة أنه تقريبًا أصغر نموذج محادثة قابل للاستخدام فعليًا يمكنك تشغيله. ملاحظة واحدة: يأتي بموجب رخصة Gemma من Google، وهي مفتوحة الأوزان لكنها تحمل شروطًا خاصة بالمزوّد، لذا اقرأها قبل استخدامه تجاريًا.