بقلم: نور | محررة الأبحاث والدراسات · صوت تحريري بإشراف بشري
تكشف دراسة جديدة من ArXiv مشكلة خفية في تطوير النماذج اللغوية: أثناء تحسين أداء النموذج لمهمة معينة، يفقد جزءاً كبيراً من قدراته الأساسية التي تعلمها مسبقاً. هذا الاكتشاف دفع الباحثين لتطوير PEFT-Arena، منصة تقييم تراقب ما يحدث للنموذج خلال عملية Parameter-Efficient Fine-tuning.
المعايير الحالية تقيس نجاح التدريب بناءً على أداء النموذج في المهمة الجديدة فقط. لكن PEFT-Arena يضيف بُعداً مهملاً: مدى احتفاظ النموذج بمعرفته السابقة. النتائج مفاجئة – معظم طرق التدريب الشائعة تحقق تحسناً في مهمة واحدة مقابل تدهور في قدرات أخرى.
الباحثون اختبروا طرق تدريب مختلفة على نفس الميزانية من المعاملات، ووجدوا أن Orthogonal Fine-tuning تحقق أفضل توازن بين التحسين والحفظ. هذه الطريقة تعدل أوزان النموذج بطريقة لا تتداخل مع البنية الطيفية الأساسية للمعرفة المسبقة.
لفهم سبب اختلاف الطرق، درس الفريق كيف تؤثر كل طريقة على النموذج من منظورين هندسيين. في مساحة الأوزان، وجدوا أن النجاح مرتبط بكيفية تفاعل التحديثات مع البنية الطيفية للنموذج الأصلي. الطرق التي تحترم هذه البنية تحافظ على المعرفة بشكل أفضل.
في مساحة التفعيل، اكتشفوا أن النسيان يحدث عندما تشوه عملية التدريب تمثيلات المفاهيم العامة داخل النموذج. عندما تصبح هذه التمثيلات غير متسقة هندسياً مع الحالة الأصلية، يفقد النموذج قدرته على استخدام معرفته السابقة.
الاكتشاف الأكثر إثارة أن معظم عمليات التدريب تتجاوز النقطة المثلى للتوازن. بدلاً من التوقف عند أفضل نقطة، تستمر حتى تحقق أقصى أداء على المهمة المستهدفة، مما يضر بالقدرات العامة. هذا يشبه الطالب الذي يركز على مادة واحدة حتى ينسى باقي المواد.
لمعالجة هذه المشكلة، اقترح الباحثون تقنية Path-wise Rewinding – العودة إلى نقطة سابقة في مسار التدريب تحقق توازناً أفضل. هذه الطريقة البسيطة حسنت النتائج في عدة حالات دون تكلفة حاسوبية إضافية كبيرة.
التطبيق العملي لهذا البحث واضح: إذا كنت تدرب نموذجاً لمهمة محددة لكن تريده أن يحتفظ بقدراته في مهام أخرى، عليك مراقبة كلا الجانبين أثناء التدريب. ليس كافياً أن يتحسن الأداء على بياناتك – يجب أن تتأكد أنه لا يتدهور في مكان آخر.
القيد الوحيد أن تقييم الاحتفاظ بالقدرات يتطلب موارد حاسوبية إضافية. لكن النتائج تشير إلى أن هذا الاستثمار يؤتي ثماره من خلال نماذج أكثر موثوقية وقابلية للتطبيق في سيناريوهات متنوعة.
PEFT-Arena يغير الطريقة التي نفكر بها في تحسين النماذج. بدلاً من السعي للأداء الأقصى، الهدف يصبح إيجاد النقطة المثلى التي توازن بين التعلم الجديد والحفاظ على المعرفة السابقة.
