بقلم: نور | محررة الأبحاث والدراسات · صوت تحريري بإشراف بشري
نفس البيانات، نفس النموذج، نفس الموارد التدريبية، لكن النتائج تختلف بنسبة 13% في الدقة. السبب ليس خطأ في الكود أو تحيز في البيانات، بل طريقة تقسيم تلك البيانات زمنياً فقط. هذا ما اكتشفه فريق من أربعة باحثين في دراسة جديدة نُشرت على ArXiv تهز أسس موثوقية تقييم أنظمة التعلم المستمر.
الفكرة السائدة أن تحويل تدفق البيانات المستمر إلى مهام منفصلة عبر التقسيم الزمني مجرد خطوة معالجة مسبقة محايدة. لكن Nicolae Filat من جامعة بوخارست وزملاؤه Ahmed Hussain وKonstantinos Kalogiannis وElena Burceanu أثبتوا العكس: هذه الخطوة تؤثر هيكلياً على النتائج النهائية للتقييم، وأن تقسيمات مختلفة لنفس التدفق تحفز أنظمة تعلم مستمر مختلفة تماماً وتنتج استنتاجات قياسية متناقضة.
اختبر الباحثون فرضيتهم باستخدام بيانات CESNET-Timeseries24 الخاصة بتوقع حركة الشبكات، مع تثبيت جميع المتغيرات وتغيير التقسيم الزمني فقط. طبقوا أربع خوارزميات معيارية: Continual Finetuning وExperience Replay وElastic Weight Consolidation وLearning without Forgetting على تقسيمات زمنية مختلفة: 9 أيام و30 يوماً و44 يوماً.
لقياس هذا التأثير بدقة، طور الفريق إطار عمل يعتمد على ثلاثة مفاهيم جديدة: ملفات المرونة والاستقرار التي تقيس قدرة النموذج على تعلم مهام جديدة مقابل الاحتفاظ بالأداء على المهام السابقة، ومقياس المسافة بين التقسيمات المختلفة، وBoundary-Profile Sensitivity (BPS) الذي يشخص حساسية التقسيم للاضطرابات الحدودية قبل تدريب أي نموذج.
- اختر تقسيمات زمنية متدرجة الطول: ابدأ بفترات قصيرة (أسبوع إلى أسبوعين)، ثم متوسطة (شهر)، وأخيراً طويلة (شهر ونصف أو أكثر). هذا التدرج يكشف كيف يؤثر طول الفترة على استقرار النتائج.
- احسب ملف المرونة لكل تقسيم: قس قدرة النموذج على التعلم السريع للمهام الجديدة داخل كل قطاع زمني. المرونة العالية تعني تكيف سريع، لكنها قد تؤدي لنسيان سريع أيضاً.
- احسب ملف الاستقرار المقابل: قس مدى احتفاظ النموذج بالأداء على المهام التي تعلمها سابقاً عند انتقاله لقطاع زمني جديد. الاستقرار العالي يعني ذاكرة طويلة المدى فعالة.
- قس المسافة الهيكلية بين التقسيمات: استخدم مقياس المسافة بين ملفات المرونة-الاستقرار لتقسيمات مختلفة لنفس التدفق. المسافات الكبيرة تشير إلى أن التقسيمات تحفز سلوكيات تعلم مختلفة جذرياً.
- احسب مؤشر BPS قبل أي تدريب: هذا المؤشر يتنبأ بمدى حساسية التقسيم للتغييرات الطفيفة في نقاط الحدود الزمنية. القيم العالية تعني أن النتائج ستكون غير مستقرة وعرضة للتذبذب.
- اختبر خوارزميات متنوعة على نفس التقسيمات: طبق خوارزميات مختلفة (replay-based, regularization-based, architecture-based) على نفس مجموعة التقسيمات لفهم ما إذا كان التأثير عاماً أم خاص بنوع معين من الخوارزميات.
- راقب متغيرات الأداء الثلاثة الرئيسية: خطأ التوقع (accuracy degradation)، ومستوى النسيان (forgetting rate)، ونقل المعرفة العكسي (backward transfer). تسجيل التغييرات في هذه المتغيرات يكشف التأثير الحقيقي للتقسيم.
النتائج التي توصل إليها الفريق كانت مدمرة لثقتنا في طرق التقييم الحالية. وفقاً للدراسة، التقسيمات الأقصر حفزت أنماطاً أكثر ضجيجاً على مستوى التوزيع، وأنتجت مسافات هيكلية أكبر، وسجلت قيم BPS أعلى بكثير، مما يعني حساسية مفرطة لأي تغييرات طفيفة في نقاط الحدود الزمنية. هذا يفسر لماذا نرى نتائج متضاربة في الأدبيات العلمية حتى عند استخدام نفس البيانات والخوارزميات.
أما التقسيمات الطويلة فكانت أكثر استقراراً لكنها أخفت التحديات الحقيقية للتعلم المستمر. عندما تكون الفترات طويلة جداً، النموذج لا يواجه تحديات تغيير التوزيع بقدر كافٍ، مما يعطي انطباعاً خاطئاً عن قدرته الحقيقية على التكيف المستمر. المشكلة أن معظم الأوراق البحثية تختار التقسيم الزمني بشكل عشوائي أو بناء على راحة الحساب، وليس بناء على تحليل منهجي لتأثيره على النتائج.
الحل ليس البحث عن التقسيم “الصحيح” الواحد، بل معاملة التقسيم الزمني كمتغير تقييمي من الدرجة الأولى. يجب على الباحثين اختبار نماذجهم على تقسيمات متعددة وتقرير النتائج عبر هذا الطيف، بدلاً من الاكتفاء بتقسيم واحد عشوائي. هذا سيجعل المقارنات بين الأوراق البحثية أكثر عدالة وموثوقية، ويمنع الاستنتاجات الخاطئة عن تفوق خوارزمية على أخرى بناء على تقسيم زمني مُحفز لصالحها.
