بقلم: نور | محررة الأبحاث والدراسات · صوت تحريري بإشراف بشري
أربعة باحثين من مختبرات مختلفة يقدمون إجابة رياضية محكمة لسؤال حير علماء تعليم الآلة سنوات: لماذا تحقق الشبكات العصبية أفضل نتائجها عندما تُدرب بمعدلات تعلم عالية تدفعها إلى “حافة الاستقرار” – المنطقة الخطيرة حيث تظهر سلوكيات فوضوية وتذبذبات عنيفة؟
ماريو توسي و جانير كوركماز و أوموت شيمشكلي و تولغا بيردال نمذجوا محسِّنات التدريب (optimizers) كأنظمة ديناميكية عشوائية ووجدوا شيئاً مدهشاً: هذه الأنظمة لا تتقارب إلى نقاط مستقرة كما نتوقع، بل إلى مجموعات جاذبة كسرية معقدة ذات أبعاد جوهرية أصغر (وفقاً للبحث).
اعتماداً على هذا الاكتشاف، وضعوا مفهوماً جديداً أطلقوا عليه “البعد الحادي” (Sharpness Dimension) – مقياس مبني على نظرية ليابونوف يربط قدرة التعميم بالطيف الكامل لمصفوفة هيسيان وبنية محدداتها الجزئية. هذا التعقيد الرياضي يتجاوز بكثير المقاييس التقليدية مثل التتبع (trace) أو القاعدة الطيفية (spectral norm) التي ركزت عليها الأبحاث السابقة.
النتائج التجريبية عبر شبكات عصبية متعددة الطبقات ومحولات متنوعة أثبتت صحة النظرية. أكثر من ذلك، قدمت رؤى جديدة حول ظاهرة “grokking” – تلك القفزات المفاجئة في الأداء التي تحدث أحياناً بعد مراحل تدريب طويلة ومملة.
الصورة الناشئة تتحدى الحكمة التقليدية: الاستقرار الكامل ليس هو الهدف الأمثل. البعد الكسري للحلول يعني أن الشبكة تستمر في الحركة ضمن منطقة محدودة ومعقدة في فضاء المعاملات، وهذه الحركة المستمرة تمنعها من الإفراط في التخصص لبيانات التدريب وتحافظ على مرونتها للتعامل مع حالات جديدة.
هذا الفهم الجديد له تداعيات عملية مباشرة على تصميم وتدريب النماذج الكبيرة. في عصر GPT-4 و Claude وLlama، حيث تكلفة التدريب تقاس بملايين الدولارات، فهم الآليات الدقيقة وراء التعميم الفعال يصبح استثماراً استراتيجياً. القدر المناسب من عدم الاستقرار المحكوم رياضياً قد يكون المفتاح لبناء نماذج أكثر قوة وكفاءة، خاصة عندما نتحدث عن نماذج لغوية عربية تحتاج توازناً دقيقاً بين الأداء والقدرة على التعميم عبر لهجات ومفردات متنوعة.
البحث متاح كاملاً على ArXiv ويقدم إطاراً رياضياً صلباً يمكن أن يغير طريقة تفكيرنا في تدريب النماذج الذكية.
