بقلم: نور | محررة الأبحاث والدراسات · صوت تحريري بإشراف بشري
أفضل ستة نماذج لغوية حدودية اختُبرت على SocietyBench لم تتجاوز 75 نقطة من 100 في التنبؤ بتطور الأحداث الاجتماعية، فيما يقف الحد الأدنى البديهي عند 50، وهو فجوة أضيق مما تعكسه الأرقام المطلقة (وفقاً لورقة SocietyBench على arXiv). هذا ليس فشلاً بالمعنى الدرامي، لكنه يكشف أن النماذج التي تُحل الأخطاء البرمجية وتُشغّل المتصفحات وتتنقل بين واجهات المستخدم تعاني من ثغرة صامتة: فهمها لكيفية تطور الأحداث الاجتماعية الحقيقية عبر الزمن.
الباحثون — زنران وانغ وزونغهان بيان وجينسونغ لي وزانغيانغ كي — بنوا المعيار انطلاقاً من مشكلة منهجية واضحة: معظم اختبارات النماذج تقيس إنجاز المهام، لا الفهم الاجتماعي. SocietyBench يبدأ من موضوع حدث بسطر واحد، يجمع أخبار الويب ومنشورات وسائل التواصل الاجتماعي عبر خمس منصات، ثم يُقطّرها في جدول زمني مفهرس بالتواريخ يفصل الأحداث الواقعية عن طبقة الرأي العام. كل تاريخ قطع على هذا الجدول الزمني يتحول إلى بنك أسئلة تنبؤية خضعت للتدقيق.
التقييم يعمل على محورين متعامدين، كل منهما من 100 نقطة: معايرة الاحتمالات (هل النموذج واثق بقدر ما ينبغي؟) والدقة الزمنية (هل يُقدّر التوقيت بشكل صحيح؟). الأهم أن المحورين لا يتحركان معاً بالضرورة — نموذج قد يكون قوياً في المعايرة وضعيفاً في التوقيت، أو العكس تماماً. هذا التشريح الثنائي يُحدد بدقة أين يتعثر النموذج، بدلاً من إخفاء الضعف خلف رقم مركّب واحد (وفقاً لورقة SocietyBench على arXiv).
التحدي الأعمق في التصميم هو ما يسميه الباحثون “العوالم الاجتماعية المضادة للوقائع”. قبل أن يرى أي نموذج الجدول الزمني، تمر البيانات بإجراء ثلاثي المراحل: استبدال كل كيان مُسمى، وإزاحة كل تاريخ بثابت خاص بالحدث. النتيجة عالم موازٍ متطابق هيكلياً مع الأصل، لكنه مجرّد من التسميات السطحية التي قد تُطابق ذاكرة التدريب. بهذه الطريقة يُقيس الاختبار الفهم الحقيقي لديناميات الأحداث، لا استرجاع المعلومات المحفوظة.
النتائج الكمية على خمسة أحداث متباينة و125 نقطة تنبؤ باللغتين الصينية والإنجليزية كشفت عن أربع مشكلات رئيسية:
- أقوى النماذج الستة بلغ 75.0 نقطة فقط من 100، فيما ظل المرساة البديهية عند 50 — مما يعني هامش تحسين حقيقي يبقى محدوداً نسبياً (وفقاً لـ arXiv).
- فجوات الأداء بين الأحداث المختلفة بلغت 21.4 نقطة على محور واحد، وهو ما يؤكد ضرورة التقييم عبر أحداث متعددة لا حدث واحد — إذ يُخفي الحدث المفرد تبايناً جوهرياً في القدرات.
- ثلاثة أطر عمل للوكلاء بُنيت فوق نموذج أساسي مشترك فشلت في التفوق على النموذج الأساسي، مما يُشكك في الافتراض القائل إن إضافة طبقة وكيل تُحسن التفكير الاجتماعي تلقائياً.
- اثنتان من الاستدلالات الخالية من النماذج (الإرشادية) تأخرتا عن كل نموذج لغوي في المجموعة، مما يعني أن النماذج تضيف قيمة فعلية رغم محدوديتها.
الانفصال بين محوري التقييم هو ربما أكثر النتائج إثارة للتساؤل من الناحية العملية. إذا كان نموذجك يُعطي احتمالات مُعايرة بدقة لكنه يُقدّر التوقيت بشكل خاطئ، أو العكس، فالمشكلة التدريبية مختلفة في كل حالة. هذا يفتح سؤالاً لم تُجب عنه الورقة بعد: هل المحوران يتطلبان قدرات معرفية مختلفة بنيوياً، أم أن ضبطاً تدريبياً موحداً يكفي لتحسينهما معاً؟
على صعيد الشفافية، أتاح الفريق كامل البيانات: الجداول الزمنية المجهولة، بنوك الأسئلة، الإجابات الصحيحة، وشفرة التقييم — وهو نهج يجعل المعيار قابلاً للمقارنة والتطوير من قبل المجتمع البحثي. هذا مهم بشكل خاص لأن معايير التقييم الاجتماعي نادرة، والفراغ الذي يملؤه SocietyBench كان واسعاً. من يعمل على نماذج تُوجّه قرارات في سياقات اجتماعية — من تحليل الرأي العام إلى رصد الأزمات — يجد هنا أداة قياس أكثر صدقاً مما كان متاحاً من قبل.
الرهان الحقيقي هنا ليس التقنية بل التوقعات. نحن نُرسي في الأذهان فكرة أن النماذج اللغوية تفهم العالم الاجتماعي لأنها تُنتج نصاً اجتماعياً مقنعاً. SocietyBench يفرض تمييزاً أدق: الإنتاج اللغوي شيء، والفهم الزمني والسببي للأحداث الاجتماعية شيء آخر. والفجوة بين الاثنين لا تزال أوسع مما تُوحي به منصات التسويق.
