هل يمكنني تشغيل Command R 35B؟

يُعَدّ Command R 35B نموذج Cohere المخصص للدردشة و RAG، وهو يطلب من عتادك أكثر بكثير من نماذج 7-8B التي يبدأ بها معظم الناس. بدقة 4-bit يبلغ حجمه نحو 21 GB، لذا فإن بطاقة RTX 3060 بسعة 12 GB خارج الحساب تمامًا، وتحتاج إلى 32 GB على الأقل من ذاكرة النظام لتحميله بأريحية. المكان الواقعي له هو بطاقة بسعة 24 GB مثل RTX 4090، أو جهاز Apple Silicon Mac بذاكرة موحَّدة وفيرة. أمّا النزول إلى تكميم 2-bit (نحو 15 GB) فلا تلجأ إليه إلا إذا كنت مضغوطًا ومستعدًا لتقبّل تراجع الجودة.

في الاستخدام اليومي هو ثابت أكثر منه سريع. على RTX 4090 يمكنك توقّع نحو 40 رمزًا في الثانية بدقة 4-bit، وهو يتدفّق أسرع من قراءتك؛ وعلى شريحة M-series Max يستقر قرب 16 tok/s، صالح للاستخدام لكنه أبطأ بشكل ملحوظ؛ وعلى معالج CPU مع ذاكرة DDR5 ستحصل على نحو 2 tok/s تقريبًا، وهي منطقة تختبر صبرك. نافذة السياق 128K كبيرة فعلًا، لكن استخدامها مكلِف: إذا ملأتها يرتفع إجمالي الذاكرة إلى نحو 54 GB، لذا ما لم يكن لديك إعداد بسعة 48 GB أو أكثر، أبقِ سياق العمل معتدلًا واحتفظ بالنافذة الكاملة للمستندات الطويلة العَرَضية.

أمام الجيل الحالي من النماذج، يُظهر عمره الذي يعود إلى 2024. نماذج Qwen 3.5 و 3.6 بصيغة 35B-A3B في القائمة ذات الصلة هي تصاميم MoE تبدو عمومًا أسرع وأقوى في الاستدلال والبرمجة، وهي مجالات لم تكن يومًا محور تركيز Command R. تبقى ميزته البارزة ما صمّمته Cohere من أجله: دردشة معزَّزة بالاسترجاع (RAG) مستندة إلى المصادر ومدعومة بالاقتباسات، حيث يميل إلى الالتزام بالمصدر بدل التشتّت. لكن هناك تحذير صارم واحد: الأوزان مرخَّصة بموجب CC-BY-NC، أي للاستخدام غير التجاري فقط. يمكنك تشغيله للمشاريع الشخصية والبحث، لكن لا يمكنك طرحه ضمن منتج أو أي خدمة مدفوعة.