هل يمكنني تشغيل GPT-OSS 20B؟

نموذج GPT-OSS 20B هو نموذج الاستدلال مفتوح الأوزان من OpenAI، وأهم ما ينبغي فهمه أنه نموذج خليط من الخبراء (mixture-of-experts): من إجمالي معاملاته البالغة 20.9B، يُفعَّل 3.6B فقط لكل رمز (token). هذا يعني أنه يعمل أسرع بكثير من نموذج كثيف بحجم 20B، لكنك مع ذلك مضطر إلى الاحتفاظ به كاملاً في الذاكرة. عند تكميم 4-bit يستقر حجمه عند نحو 12.7 GB، والحد الأدنى العملي قرابة 24 GB من RAM. لا يتسع على بطاقة بسعة 12 GB مثل RTX 3060، لذا واقعياً ستحتاج إلى بطاقة GPU بسعة 24 GB مثل 4090، أو جهاز Mac بمعالج Apple Silicon مع ذاكرة موحَّدة وفيرة.

في الاستخدام اليومي يبدو سريعاً قياساً إلى حجمه، وهذا هو العائد من بنية MoE. على بطاقة RTX 4090 يمكنك توقع نحو 393 رمزاً في الثانية، وعلى شريحة M-series Max قرابة 160 tok/s، وكلاهما يفوق سرعة القراءة بمراحل. أما على المعالج المركزي وحده مع ذاكرة DDR5 فتنخفض السرعة إلى نحو 23 tok/s، وهي صالحة للمهام الدُفعية لكن ليست للدردشة التفاعلية. نافذة السياق البالغة 128K سخية، لكنها الجزء الذي يلتهم الذاكرة بهدوء: املأها بالكامل فيرتفع الاستهلاك الإجمالي إلى نحو 38.5 GB بعد تحميل ذاكرة KV المؤقتة. أبقِ سياق العمل معتدلاً ما لم يكن لديك هامش فائض، أو انتقل إلى نسخة q2 القريبة من 8.8 GB.

صُمِّم النموذج للدردشة والاستدلال أكثر من البرمجة، لذا في أعمال البرمجة يخدمك نموذج مثل Codestral 22B بشكل أفضل عموماً، ويبقى Mistral Small 3.1 24B هو الخيار إن كنت تريد الرؤية البصرية أيضاً. ميزته البارزة هي جودة الاستدلال مقابل كلفة 3.6B معاملاً مُفعَّلاً فقط، وإن أردت هامشاً أوسع فإن الشقيق الأكبر GPT-OSS 120B يوسِّع الوصفة نفسها. الترخيص هو Apache 2.0، لذا فهو حر الاستخدام فعلاً، بما في ذلك الاستخدام التجاري وفي بيئات الإنتاج، دون أي قيود خاصة بمزوّد معيّن.