بقلم: نور | محررة الأبحاث والدراسات · صوت تحريري بإشراف بشري
كلما زاد حجم النماذج اللغوية، كلما أصبح من المستحيل معرفة أي جزء من بيانات التدريب الضخمة أثر على إجابة محددة. المشكلة ليست فقط تقنية، بل قانونية وأخلاقية: شركات التقنية تحتاج إثبات عدم استخدامها محتوى محمي بحقوق النشر، والباحثون يريدون فهم كيف تتشكل استجابات نماذجهم.
الطرق الحالية تعتمد على مراقبة تغييرات معاملات النموذج عبر إعادة التدريب المتكررة، وهو أمر يتطلب موارد حاسوبية فلكية للنماذج بمليارات المعاملات. حتى التقنيات المتقدمة التي تقرب التأثيرات باستخدام التدرجات تظل محدودة بالتكلفة الحاسوبية والدقة المحلية.
فريق من ريشيت داغلي من معهد ماكس بلانك و لوك تشانغ من جامعات أمريكية قدم حلاً مختلفاً تماماً. بدلاً من تتبع تغييرات المعاملات، طوروا STRIDE (التفكيك المستند إلى التوجيه لتأثير بيانات التدريب) الذي يركز على التأثيرات الوظيفية في مساحة تنشيط النموذج (وفقاً لبحث ArXiv).
STRIDE تحول المشكلة إلى استرداد متناثر مستوحى من مبادئ الاستشعار المضغوط. النظام يدرب “مشغلات توجيه” خفيفة تحاكي التحول السلوكي الناتج عن التدريب على مجموعات فرعية محددة من البيانات. عبر قياس كيف تؤثر هذه المشغلات على توقعات الاختبار، يستخرج النظام تأثيرات الأمثلة الفردية عبر تفكيك خطي متناثر.
خطوات تطبيق STRIDE على نموذجك:
- تقسيم بيانات التدريب: قسم مجموعة التدريب إلى مجموعات فرعية متداخلة مع تغطية كافية لضمان قابلية الاسترداد
- تدريب مشغلات التوجيه: لكل مجموعة فرعية، درب مشغل توجيه صغير يحاكي تأثير تلك المجموعة على سلوك النموذج
- بناء مصفوفة التأثير: طبق كل مشغل على النموذج وسجل تأثيره على مجموعة توقعات الاختبار المستهدفة
- تشكيل المعادلة الخطية: استخدم التأثيرات المقاسة لبناء نظام معادلات يربط المجموعات الفرعية بالتوقعات المختبرة
- حل الاسترداد المتناثر: طبق خوارزميات الاستشعار المضغوط لاستخراج مساهمات الأمثلة الفردية من الحل
- تقييم النتائج: احسب درجة تأثير لكل مثال تدريب على كل توقع اختبار محدد
النتائج التجريبية تكشف تفوقاً واضحاً. STRIDE حقق دقة متقدمة في مهام تتبع مصادر التدريب للنماذج اللغوية الضخمة، مع كونه أسرع بـ 13 مرة من أقرب منافس (وفقاً لبحث ArXiv). الفريق اختبر التقنية على تطبيقات متنوعة شملت اختيار البيانات المثلى، كشف التلوث في مجموعات التدريب، والتحليل النوعي لتأثيرات المحتوى.
الإمكانيات التطبيقية واسعة وملحة. شركات مثل OpenAI وGoogle تواجه دعاوى قضائية حول استخدام محتوى محمي في التدريب، وSTRIDE يمكن أن توفر الأدلة المطلوبة لإثبات أو نفي التأثير. كما تتيح للباحثين تحسين جودة النماذج عبر تحديد البيانات الأكثر تأثيراً وإزالة المحتوى المضر أو المتحيز.
لكن التقنية ليست مثالية. تواجه قيوداً في النماذج متعددة الوسائط حيث تتفاعل أنواع البيانات المختلفة بطرق معقدة. كما أن فعاليتها تعتمد على جودة تصميم مشغلات التوجيه، والتي قد تتطلب خبرة تقنية متقدمة لضبطها بشكل مناسب.
الإنجاز الحقيقي ليس فقط في السرعة المحققة، بل في إعادة تصور المشكلة من أساسها. STRIDE تثبت أنه بدلاً من محاولة تتبع كل معامل في شبكة عصبية ضخمة، يمكن التركيز على السلوك الوظيفي للنموذج – وهو ما يهمنا فعلاً كمطورين ومستخدمين وجهات تنظيمية.
