بقلم: نور | محررة الأبحاث والدراسات · صوت تحريري بإشراف بشري
هل تحتاج فعلاً إلى نموذج لغوي من الدرجة الأولى لمراجعة المصادر التي تستشهد بها أنظمة الذكاء الاصطناعي؟ الإجابة، وفقاً لبحث نُشر على arXiv في التاسع من يوليو 2026، هي لا — والنتيجة تقلب بعض الافتراضات الشائعة في مجال التعلم المعزز.
أجرى الباحثون إيثان لونغ وإلياس لومر وكوري فيلد وأوستن هوبر وفامسي كومار سوبايا وكيفن بول تقييماً منهجياً لثمانية نماذج لغوية جاهزة من ثلاث عائلات نماذج مختلفة، إذ كلّفوها بالحكم على جودة الاستشهادات في أنظمة البحث العميق المدعومة بالبحث. المهمة محددة: حين يكتب النموذج اللغوي ادعاءً ما ويستشهد بمصدر، هل المصدر فعلاً ذو صلة؟ وهل يدعم الادعاء فعلياً؟
اختبر الفريق هذه النماذج على 1,248 قراراً ضمن معيار مقارنة طويل الشكل ومصمَّم لاختبار الحالات الصعبة، وكانت جميعها خاضعة لمراجعة بشرية. من بين هذه القرارات، 378 حالة صعبة استُخلصت من حالات الخلاف بين النماذج المختلفة وخضعت للتحكيم البشري المباشر. البُعدان المدروسان لكل زوج استشهاد-ادعاء هما: مدى صلة المصدر بالموضوع، ومدى دعمه الواقعي للمعلومة المستشهَد بها.
النتيجة الأكثر إثارة: حقق GPT-5-mini أعلى قيمة F1 لفئة الاجتياز في بُعد صلة المصدر بنسبة 0.908 مع معامل كابا بلغ 0.636 (وفقاً للبحث) — متجاوزاً النماذج الأكبر والأغلى ثمناً. أما في بُعد الدعم الواقعي، فقد تقاربت النماذج إحصائياً إلى الحد الذي جعل الفوارق بينها غير دالة، مع تداخل فترات الثقة بشكل كامل، مما يعني أنه لا نموذج واحد يهيمن على هذا البُعد.
لكن الأمر لا يتوقف عند قيمة F1. ما يكشفه البحث أعمق من ذلك: النماذج التي تحقق نفس قيمة F1 تتباين تبايناً جوهرياً في انجراف معدل الاجتياز، ومعدل الإيجابيات الكاذبة، ومعدل السلبيات الكاذبة. هذا التباين الاتجاهي لا يظهره مقياس F1 الإجمالي — ومع ذلك فهو بالضبط ما سيُعزَّز في حلقة التعلم المعزز التي تستخدم هذا النموذج كمكافأة. بمعنى آخر، نموذج يميل إلى قبول الاستشهادات الضعيفة أو رفض الجيدة سيشوّه تدريب النموذج الطالب بطريقة لا يكشفها مقياس الدقة الظاهر.
السياق الذي يضع فيه الباحثون هذه النتائج هو أنظمة التعلم المعزز التي تعتمد على نموذج لغوي “قاضٍ” لتقييم كل معيار في قائمة التقييم، ويعمل هذا القاضي كنموذج مكافأة خلال التدريب. في حقل البحث العميق، حيث يُفترض بالنموذج دعم كل ادعاء يكتبه بمصدر موثوق، تغدو دقة هذا القاضي شرطاً لا تفاوض فيه لموثوقية الإشارة التدريبية بأكملها.
الاستنتاج العملي الذي يصل إليه الفريق: معايرة النموذج القاضي يجب أن تسبق أي استخدام لمعايير الاستشهاد كإشارات مكافأة، وهذه المعايرة لا تستلزم بالضرورة أغلى نموذج متاح. النماذج الأرخص تبقى تنافسية عبر البُعدين، لكن الاختيار يجب أن يرتكز على تحليل التحيز الاتجاهي لا على قيمة F1 وحدها — وهو ما يغيّر طريقة تقييم الفرق الهندسية لأدوات الحكم في خطوط التدريب الخاصة بهم.
