بقلم: نور | محررة الأبحاث والدراسات · صوت تحريري بإشراف بشري
يحتوي 67% من النصوص على تناقضات منطقية خفية عند تقييمها بنماذج الحكم اللغوية، وفقاً لبحث جديد من مانان غوبتا ودروف كومار يكشف خللاً عميقاً في موثوقية هذه الأنظمة المستخدمة على نطاق واسع.
يطبق الباحثان تحليلهما على مجموعة بيانات SummEval باستخدام أداتين تشخيصيتين: الأولى تكشف انتهاكات التناقل المنطقي، والثانية تحسب مجموعات التنبؤ المطابقة لقياس الثقة في كل تقييم. النتائج تضرب الاعتماد على هذه النماذج في مقتل.
المشكلة الأساسية تكمن في “الدورات الثلاثية المتجهة” – حيث يقرر النموذج أن النص أ أفضل من ب، وب أفضل من ج، ثم يناقض نفسه ويقول إن ج أفضل من أ. رغم أن المعدل الإجمالي لهذه الانتهاكات يبدو منخفضاً (0.8%-4.1%)، إلا أن 33%-67% من الوثائق الفردية تحتوي على انتهاك واحد على الأقل.
- تحليل التناقل يكشف تناقضات منطقية في ثلثي النصوص رغم المعدلات الإجمالية المنخفضة
- مجموعات التنبؤ المطابقة توفر ضمانات نظرية بتغطية ≥(1-α) مع مؤشر موثوقية لكل تقييم
- عرض مجموعة التنبؤ يرتبط إيجابياً بصعوبة النص (rs = +0.576, N=1,918, p < 10^-100)
- الاتفاق المتبادل بين النماذج حول مؤشرات الموثوقية (r̄ = 0.32-0.38) يؤكد التقاط صعوبة الوثيقة
- المعيار أهم من النموذج: الصلة الأكثر موثوقية (حجم مجموعة ≈3.0) والطلاقة الأقل (≈4.9)
تكشف النتائج تفاوتاً صارخاً في موثوقية المعايير المختلفة. تقييم الصلة جاء الأوثق بمتوسط حجم مجموعة 3.0، يليه التماسك بـ3.9، بينما تذيلت الطلاقة والاتساق القائمة بحجم 4.9 – وهو رقم يعكس عدم الثقة شبه التام.
الأخطر من ذلك أن هذه الأنماط تتكرر عبر أربعة نماذج حكم مختلفة وأربعة معايير تقييم، مما يشير لمشكلة جذرية في طريقة عمل هذه الأنظمة وليس مجرد خطأ تقني في نموذج واحد.
بالنسبة للمطورين الذين يعتمدون على نماذج الحكم اللغوية لتقييم الملخصات أو المحتوى المُولد، هذه النتائج تستدعي إعادة نظر جذرية. الاعتماد على هذه النماذج دون أدوات تشخيصية مناسبة يعرض جودة المنتجات للخطر، خاصة عند التعامل مع النصوص التي تتطلب تقييم الطلاقة أو الاتساق.
يوفر الباحثان الكود والنتائج المخزنة للمجتمع التقني، مما يفتح المجال أمام تطبيق هذه الأدوات التشخيصية على نطاق أوسع. الحاجة ملحة الآن لتطوير آليات تشخيص مدمجة في أنظمة الإنتاج قبل الاعتماد كلياً على أحكام هذه النماذج.
