هل يمكنني تشغيل GPT-OSS 120B؟

GPT-OSS 120B هو الإصدار المفتوح الأوزان الكبير من OpenAI، وهو موجّه لمن يريد نموذج محادثة واستدلال بمستوى النماذج المتقدمة يعمل بالكامل على عتاده الخاص. إنه نموذج بتصميم مزيج من الخبراء (mixture-of-experts)، فرغم أن حجمه الكامل 116.8B معلمة، لا يكون نشطًا منها سوى نحو 5.1B لكل رمز. هذه هي الحيلة التي تبقيه سريعًا بالنسبة إلى حجمه، لكن لا تدع ذلك يخدعك بشأن الذاكرة: لا تزال مضطرًا لتحميل النموذج كاملًا في الـ RAM. عند تكميم 4-بت يبلغ ذلك نحو 71 GB، وستحتاج إلى حوالي 96 GB من ذاكرة النظام لتشغيله براحة. هذا ليس نموذجًا لكرت رسوميات محمول.

عمليًا يعني هذا أن بطاقة RTX 3060 أو حتى 4090 لن تتسع له ببساطة، لذا فإن بيئاته الواقعية هي جهاز Apple Silicon بذاكرة عالية أو حاسوب CPU بذاكرة RAM كبيرة. على معالج M-series Max يمكنك توقع نحو 113 tok/s، وهو ما يبدو سريعًا وسلسًا فعلًا لنموذج بهذا الحجم. على الـ CPU مع ذاكرة DDR5 تنخفض إلى نحو 16 tok/s، وهي وتيرة صالحة للأعمال المُجمّعة لكنها بطيئة للمحادثة التفاعلية. نافذة السياق 128K سخية، لكن ملؤها يرفع إجمالي الذاكرة إلى نحو 127 GB عند الحد الأقصى للسياق، فخطط لهامش إضافي بدل اعتبار ذلك السقف حجم عملك المعتاد.

مقارنةً بأقرانه، يميل GPT-OSS 120B بقوة نحو المحادثة والاستدلال أكثر من البرمجة أو الرؤية، لذا فإن نموذجًا مثل Mistral Small 4 119B يمنحك عادةً مدى أوسع إن كنت تحتاج إلى الكود أو إدخال الصور ضمن البصمة نفسها. أما شقيقه الأصغر GPT-OSS 20B فهو الخيار حين يكون توفير 96 GB من الـ RAM متعذرًا. لكن النقطة الأبرز هنا هي الرخصة: Apache 2.0 تعني أنه يمكنك استخدامه تجاريًا وفي بيئة الإنتاج دون أي قيود من المزوّد، وهو أمر نادر عند هذا المستوى من القدرة وسبب حقيقي لاختياره.