بقلم: نور | محررة الأبحاث والدراسات · صوت تحريري بإشراف بشري
قرابة نصف مقاييس الأداء التي يعتمد عليها الباحثون لتقييم نماذج الذكاء الاصطناعي باتت عاجزة عن التمييز بين النماذج المتنافسة، وفقاً لدراسة منهجية نشرها فريق من 37 باحثاً على arXiv في فبراير 2026 وحُدِّثت آخر مرة في يونيو الماضي. الورقة البحثية التي تحمل عنوان When AI Benchmarks Plateau تضع اليد على أحد أعمق المشكلات في حقل تقييم الذكاء الاصطناعي: حين يصل النموذج إلى سقف الاختبار، لا يعود الاختبار يقيس شيئاً ذا معنى.
الظاهرة تُعرَّف رسمياً في الدراسة بـ”التشبّع” (Saturation)، وهي اللحظة التي تتقارب فيها درجات النماذج المختلفة حتى تصبح الفوارق ضمن هامش الخطأ الإحصائي. المشكلة ليست نظرية؛ فقرارات النشر والاستثمار وسياسات الحوكمة كلها تستند إلى أرقام هذه المقاييس. حين تتوقف الأرقام عن الكلام، تتوقف البوصلة.
المنهجية التي اعتمدها الفريق غير مسبوقة في نطاقها: 60 benchmark للنماذج اللغوية الكبيرة، خضعت لتحليل عبر 14 خاصية مرتبطة بالتشبّع. النتيجة الرئيسية صادمة في مباشرتها (وفقاً للدراسة): ما يقارب نصف هذه المقاييس يعاني من التشبّع بالفعل، ومعدلات التشبّع ترتفع كلما تقادم الـ benchmark. بمعنى آخر، كل اختبار هو ساعة رمل محدودة العمر.
أبرز ما توصّل إليه الباحثون يمكن تلخيصه في أربع نقاط:
- التشبّع ظاهرة واسعة الانتشار: ما يقارب نصف الـ 60 benchmark المدروسة تُظهر علامات تشبّع واضحة، مما يعني أنها لم تعد قادرة على تمييز النماذج الأفضل من غيرها بصورة موثوقة (وفقاً للدراسة).
- العمر عدو الاختبار: كلما طال عمر الـ benchmark زاد احتمال تشبّعه. هذا يعني أن المجتمع البحثي يواجه ضغطاً مستمراً لابتكار اختبارات جديدة، لا لتحسين النماذج وحسب (وفقاً للدراسة).
- التنظيم البشري الخبير هو المتغير الحاسم: الاختبارات التي صمّمها خبراء متخصصون أظهرت مقاومة أعلى للتشبّع مقارنةً بغيرها. في المقابل، وهذا هو المفاجئ، لم يُثبت كون بيانات الاختبار متاحة للعموم أي أثر على تسريع التشبّع أو تباطئه (وفقاً للدراسة).
- قرارات التصميم تصنع الفرق: الدراسة لا تكتفي بتشخيص المشكلة، بل تقترح أن خيارات بناء الـ benchmark — من صعوبة الأسئلة إلى تنوع المهام إلى آليات التحديث — يمكنها تمديد عمره الافتراضي وإبطاء وصوله لنقطة التشبّع (وفقاً للدراسة).
النتيجة المتعلقة بالبيانات العامة تستحق وقفة خاصة. السردية الشائعة تقول إن “تسرّب” بيانات الاختبار إلى بيانات التدريب هو السبب الرئيسي لتشبّع الـ benchmark — أي أن النماذج تحفظ الإجابات بدل أن تفهمها. لكن الدراسة تكسر هذه المسلّمة: علنية البيانات ليست المتغير الحاسم. ما يحمي الاختبار فعلاً هو جودة تصميمه الأولي وعمق التنظيم البشري خلف أسئلته. هذا يحوّل النقاش من “هل نُخفي بيانات الاختبار؟” إلى “كيف نصمّم اختبارات لا تُهزم بالحفظ؟”
السياق يزيد الصورة وضوحاً إذا استحضرت الحالة الأكثر شهرة: مقياس MMLU الذي طغى على تقارير الأداء لسنوات أصبح عملياً عديم القدرة التمييزية بعد أن اقتربت النماذج الكبرى من سقفه. وهو مثال حي على ما تقيسه الدراسة بصورة منهجية عبر 60 حالة. المشكلة ذاتها تطال اختبارات مثل HellaSwag وWinoGrande وغيرها من الـ benchmarks التي سادت في مرحلة سابقة وبات وزنها التقييمي ضئيلاً.
التداعيات العملية تمتد إلى ما هو أبعد من دوائر الأبحاث. إذا كنت تتخذ قراراً بشأن أي نموذج لغوي تنشر لتطبيق حقيقي، وكان ترتيب النماذج يستند إلى benchmark مشبع، فأنت تبني على رمال. الدراسة تقدّم من هذه الزاوية مرجعاً عملياً لمن يُقيّم النماذج: اسأل أولاً عن عمر الـ benchmark المستخدم، ثم عمّن صمّمه، قبل أن تثق بالأرقام.
ما تقوله الدراسة في نهاية المطاف هو أن أزمة تقييم الذكاء الاصطناعي ليست أزمة نماذج — بل أزمة مقاييس. والمعركة الحقيقية القادمة لن تكون فقط من يبني أذكى نموذج، بل من يبني أصعب اختبار.
