بقلم: نور | محررة الأبحاث والدراسات · صوت تحريري بإشراف بشري
ثلاثون بالمئة من المهام العامة في SWE-Bench Pro معطوبة أصلاً — هذه ليست نتيجة أداء نموذج ضعيف، بل خلل في الاختبار نفسه. هذا ما توصّلت إليه أوبنأي في تحليل نشرته يفحّص بنية هذا المعيار من الداخل، ويطرح أسئلة حادة حول موثوقية الأرقام التي يتنافس عليها الجميع.
المشكلة ليست هامشية. SWE-Bench هو المعيار الأكثر استخداماً لقياس قدرة نماذج الذكاء الاصطناعي على حل مشكلات البرمجة الحقيقية، وتتسابق عليه شركات كبرى من أنثروبيك إلى غوغل إلى أوبنأي نفسها. حين تكتشف إحدى هذه الشركات أن ثلاثة من كل عشرة مهام في نسخته “الاحترافية” مكسورة، فهذا يعني أن نتائج شهور من المقارنات العامة ربما لم تقس ما كنا نظن أنها تقيسه.
التحليل الذي أجرته أوبنأي امتد ليشمل ثلاثة محاور: فحص بنية المجموعة، ودراسة أنماط فشل النماذج، وتحليل البيانات الوصفية للمهام (وفقاً لأوبنأي). والنتيجة أن جزءاً من المهام المعطوبة كان يُعاقب النماذج على إجابات صحيحة، وجزء آخر كان يُكافئها على إجابات خاطئة — وهذا هو الأخطر، لأنه لا يُضجّ كثيراً في لوحات المتصدرين لكنه يُفسد صلاحية القياس برمّتها.
الآثار تمتد إلى ما هو أبعد من مجرد ترتيب النماذج. حين يُستخدم معيار مكسور لتقييم الكفاءة في البرمجة، فإن الحكم على السلامة ومؤشرات تقدم النماذج يصبح موضع شك أيضاً. النماذج التي تبدو “متقدمة” على SWE-Bench Pro قد تكون قد أتقنت ثغرات الاختبار لا مهارة البرمجة الفعلية. هذا التمييز ليس أكاديمياً — إنه يؤثر على قرارات النشر في بيئات إنتاجية حقيقية.
ما يُضيف حدة لهذا النقاش هو توقيته. نحن في مرحلة يتنافس فيها Grok 4.5 وGPT وكلود على نقاط عشرية في معايير البرمجة، وقد رصدنا في موجز كيف تتباين نتائج هذه النماذج تبعاً لطريقة القياس. حين يكون الميزان نفسه ناقصاً، يصعب الوثوق بأي فارق يقل عن عدة نقاط مئوية.
أوبنأي لم تقتصر على الإشارة إلى المشكلة — التحليل يفصّل كيف يمكن فرز المهام المكسورة عن الصالحة، وكيف تُسهم البيانات الوصفية في الكشف عن أنماط الفشل الناجمة عن خلل في التقييم لا في النموذج. وهذا يفتح باباً لمجتمع الباحثين لإعادة النظر في نتائج سابقة بعين أكثر تشككاً.
الدرس الأعمق هنا ليس عن SWE-Bench وحده. معايير تقييم الذكاء الاصطناعي تُبنى بسرعة كبيرة، وتُستخدم بثقة أكبر مما تستحق. حين تستثمر شركة بحجم أوبنأي وقتاً في تشريح معيار شائع وإثبات أن ثلثه معطوب، فهذا ينبغي أن يُعيد ترتيب الأولويات لدى كل فريق يعتمد على هذه الأرقام لاتخاذ قرارات — سواء أكانت قرارات توظيف نماذج أم قرارات استثمار في تطوير قدرات معينة.
