بقلم: نور | محررة الأبحاث والدراسات · صوت تحريري بإشراف بشري
مشكلة بسيطة تُربك أذكى نماذج اللغة الحالية: أعطِها سياقاً مضلِّلاً واحداً، وستقلب إجابتها الصحيحة إلى خطأ. الحل الساذج هو تدريب النموذج على تجاهل كل السياقات الخارجية، لكن هذا يُنتج نموذجاً عديم الفائدة حين يكون السياق صحيحاً ومفيداً. هذه بالضبط المعضلة التي يتصدّى لها بحث جديد (arXiv:2608.06377) نشره فريق مؤلف من سبعة باحثين بقيادة Xian Sun.
الفريق يُعيد صياغة المشكلة من جذورها: بدلاً من أن نسأل “كيف نجعل النموذج مقاوِماً للسياق المضلِّل؟”، السؤال الأصح هو “كيف نُعلِّم النموذج متى يثق ومتى يتشكّك؟” يُسمّون هذه القدرة الثقة الانتقائية (Selective Trust)، وحولها يبنون كامل إطارهم البحثي.
لقياس هذا السلوك بدقة، طوّر الفريق معياراً جديداً يحمل اسم MIST، وهو مجموعة بيانات بشرية التوصيف تعرض كل عنصر استدلالي في أربعة أوضاع متطابقة البنية: سياق نظيف بلا إضافات، وسياق مضلِّل مصمَّم لقلب الإجابة، وسياق صحيح يُعزّز الإجابة الصواب، وسياق غير ذي صلة تماماً. هذا التصميم الرباعي يتيح قياساً دقيقاً لا يمكن تحقيقه بمجموعات البيانات الثنائية التقليدية.
ومعها مقياس جديد يُسمّى SC2W، اختصاراً لـ “Susceptibility: Correct to Wrong”، يقيس تحديداً كم مرة حوّل السياق المضلِّل إجابةً صحيحة إلى خاطئة. المقياس ليس مجرد نسبة أخطاء عامة، بل يلتقط بدقة هذا الانزلاق الخطير من الصواب إلى الخطأ بفعل إشارة واحدة مضلِّلة. وما كشفه الفريق عبر دراسة معيارية شاملة مثير للقلق: هذه القابلية للتأثر ظاهرة عالمية تطال كل النماذج مفتوحة المصدر الشائعة التي اختبروها، لا استثناء.
استجابةً لهذا، يقترح الباحثون تقنية تدريب أُطلق عليها SCOPE، تعمل بذكاء أكبر من مجرد تعريض النموذج لأمثلة مضلِّلة وتعليمه رفضها. الفكرة تبدأ بالتنقيب عن حالات الفشل المحددة: الأمثلة التي كان النموذج فيها يُجيب صحيحاً على السياق النظيف، لكنه يُخطئ حين يُقدَّم له السياق المضلِّل. هذه الأزواج تُشكّل مادة التدريب.
بعدها، يُطبّق SCOPE هدف Direct Preference Optimization (DPO) القياسي، لكن بفارق جوهري في بناء أزواج التفضيل: الأزواج لا تأتي من الحالات المضلِّلة وحدها، بل توزَّع بالتساوي عبر الأوضاع الأربعة جميعاً — النظيف، والمضلِّل، والصحيح، وغير ذي الصلة. هذا التوازن هو ما يمنع النموذج من الوقوع في الفخ المعاكس: أن يتعلم رفض كل السياقات بدلاً من التمييز بينها.
النتائج تُثبت أن SCOPE يُخفّض مقياس SC2W بصورة جوهرية على النماذج مفتوحة المصدر الشائعة، وفي الوقت ذاته يُحافظ على دقة النموذج حين يكون السياق المُضاف نظيفاً أو صحيحاً أو غير ذي صلة. بمعنى آخر، النموذج لا يصبح مشككاً بكل شيء، بل يتعلم التمييز الصحيح — وهو ما يجعل هذه النتيجة أكثر أهمية من مجرد تحسين في الأرقام.
الأهمية العملية لهذا البحث تبرز بوضوح في أنظمة RAG وكل معمارية تُغذّي نماذج اللغة بوثائق أو نصوص خارجية. مشكلة RAG حين يُجيب بـ”انظر القسم 7.2″ تعكس جزئياً هذه الهشاشة: النموذج إما يثق بالوثيقة بشكل أعمى أو يتجاهلها كلياً. SCOPE يُقدّم مساراً وسطاً مبنياً على تدريب، لا على ضبط آني أو مطالبات برمجية.
الباحثون يختمون بأطروحة تقييمية أوسع: ينبغي أن تُقيَّم نماذج اللغة على أساس الثقة الانتقائية، لا المقاومة المطلقة. نموذج يرفض كل سياق خارجي يبدو متيناً في الاختبار، لكنه يفشل في الواقع حيث السياق الجيد هو بالضبط ما يجعله مفيداً. MIST وSC2W وSCOPE معاً تُقدّم الأدوات اللازمة لقياس هذا الفارق الدقيق والتدريب عليه.
