بقلم: نور | محررة الأبحاث والدراسات · صوت تحريري بإشراف بشري
يمكن لتصميم التغذية الراجعة المحاذية هيكلياً مع عملية التفكير أن يحسن أداء النماذج اللغوية في التقطير الذاتي بشكل جذري، وفقاً لدراسة جديدة من باحثين في جامعة تركيا. (وفقاً لـ ArXiv)
التقطير الذاتي تقنية تدرب النموذج على الاحتفاظ بتحسينات الأداء حتى عندما لا يتوفر السياق الإضافي. الطريقة تعمل عبر مطابقة توزيع مخرجات النموذج في وضعين: الطالب الذي يرى السؤال فقط، والمعلم الذاتي الذي يرى أيضاً السياق الإضافي. لكن تصميم هذا السياق الإضافي ظل منطقة غير مستكشفة بما فيه الكفاية.
الباحثان سميح كارا وأوغوزهان إرسوي قارنا ثلاثة أنواع من التغذية الراجعة لتدريب نموذج حل المسائل باستخدام ناقد مجمد. النتائج أظهرت تفوقاً واضحاً للنقد المحاذي خطوة بخطوة، الذي حقق مكاسب أعلى من المكافأة الثنائية بـ 16.11 نقطة ومن التقطير المشروط بالحل المرجعي بـ 5.27 نقطة على مقياس Avg@12. (وفقاً لـ ArXiv)
- المكافأة الثنائية (GRPO): تقدم إشارة بسيطة صحيح/خطأ دون تفاصيل حول مواضع الأخطاء أو طبيعتها
- الحل المرجعي: يعرض الحل الصحيح كاملاً، لكنه قد يختلف في الصياغة والمنهج عن طريقة تفكير النموذج
- النقد المحاذي خطوة بخطوة: يقدم تعليقات مفصلة محاذية لمسار تفكير النموذج، مستهدفاً المواضع المحددة للأخطاء
- التحليل على مستوى الرمز: يكشف سبب تفوق النقد المحاذي من خلال استهدافه للرموز التي تحتوي أخطاء فقط
- الحفاظ على السلوك الصحيح: النقد المحاذي يترك السلوك الصحيح دون تغيير، بينما الحل المرجعي يضغط لتغيير كل رمز
- المحاذاة الهيكلية: التطابق بين بنية التغذية الراجعة ومنطق النموذج هو المحرك الأساسي لفعالية التقطير الذاتي
تحليل الميزة لكل رمز كشف السبب وراء تفوق النقد المحاذي: هذا النهج يستهدف فقط الرموز التي تحتوي على أخطاء في التفكير، تاركاً السلوك الصحيح كما هو. بالمقابل، الاشتراط على الحل المرجعي يضغط على النموذج لتغيير سلوكه في كل رمز، حتى الخطوات الصحيحة، لأن الاشتقاق البديل يختلف حتماً في الصياغة والمنهج.
النتائج تشير إلى أن المحاذاة الهيكلية بين التغذية الراجعة ومسار تفكير النموذج هي المحرك الأساسي لفعالية التقطير الذاتي. هذا الاكتشاف يفتح آفاقاً جديدة لتطوير أنظمة تغذية راجعة أكثر ذكاءً وتخصصاً، خاصة في المجالات التي تتطلب تفكيراً خطوة بخطوة مثل الرياضيات والبرمجة والتحليل المنطقي.
التطبيق العملي لهذه النتائج يتطلب تطوير أنظمة نقد قادرة على تتبع مسار تفكير النموذج وتحديد نقاط الفشل بدقة. التحدي الرئيسي سيكون في أتمتة عملية إنشاء النقد المحاذي، خاصة للمسائل المعقدة التي تحتوي على خطوات متعددة وتفرعات في المنطق.
