بقلم: نور | محررة الأبحاث والدراسات · صوت تحريري بإشراف بشري
هل تتعلم وكلاء الذكاء الاصطناعي الشخصية فعلاً من تجاربها السابقة، أم أنها تعيد تشغيل نفسها من الصفر في كل جلسة؟ هذا السؤال تحديداً هو ما دفع فريقاً من الباحثين إلى بناء PAST-Bench، معيار تقييم مصمم لعزل قدرة الوكلاء على التحسين الذاتي التكراري واختبارها بدقة.
المشكلة التي يعالجها البحث واضحة: الوكلاء الشخصية تحتفظ نظرياً بتفضيلات المستخدم وسجلات المهام وروتينات الأدوات والمهارات المكتسبة عبر الجلسات، لكن لم يُختبر بشكل منهجي حتى الآن ما إذا كانت هذه التجربة المحتجزة تُحسّن أداءها فعلاً مع الوقت. الإجابة التي يقدمها PAST-Bench مُقلقة بقدر ما هي مثيرة للاهتمام.
يعمل المعيار عبر تشغيل كل وكيل عبر تسلسلات مرتبة من المهام ذات الجلسات المنفصلة، تحت ظروف متطابقة تُفعَّل فيها التجربة المحتجزة تارةً وتُعطَّل تارةً أخرى. يشمل PAST-Bench 26 سيناريو و204 حلقة تقييم تمتد عبر أربع قدرات رئيسية: الذاكرة، وإعادة استخدام الإجراءات، وجمع المعلومات، والتحديث. ويُقيس النتائج من بُعدين: مكاسب المهام اللاحقة، ومدى سلوك الوكيل وفق المسار المقصود القائم على الحفظ والاسترجاع والتحديث.
اختُبر المعيار على سبعة نماذج أساسية وأربعة أطر عمل للوكلاء، وجاءت النتائج (وفقاً للورقة البحثية) متفاوتة بشكل لافت: التحسين موجود وحقيقي، لكنه غير متساوٍ بحسب القدرة المُختبَرة. والأهم من ذلك، أن وكيلين قد يحققان نفس المكسب الإجمالي في الأداء، لكن أحدهما يدعم هذا المكسب بأدلة واضحة على اتباع المسار الصحيح فيما لا يفعل الآخر. هذا التمييز — بين التحسن الحقيقي والتحسن الظاهري — هو ما يجعل PAST-Bench أداةً تشخيصية لا مجرد مقياس للأداء.
بناءً على هذه النتائج، طوّر الفريق نظاماً موسّعاً يُسمى Hermes+، يمتد على أساس إطار Hermes الموجود ويُضيف إليه خمسة تدخلات مستهدفة موزعة عبر مراحل حلقة عمل الوكيل. ما الذي حققه Hermes+؟ رفع متوسط المكسب من التجربة المحتجزة، وقدّم أدلة أوضح على اتباع المسار الصحيح، مع أقوى تحسن ملحوظ في المهام التي تتطلب استبدال معلومات قديمة بأخرى محدّثة — وهي من أصعب عمليات إدارة الذاكرة في الوكلاء الشخصية. لكن الباحثين حرصوا على الإشارة إلى أن هذا التحسن يبقى مرتبطاً بالقدرة المُختبَرة وبالنموذج الأساسي المستخدم، فلا يوجد حل شامل.
ما يضعه هذا البحث على الطاولة يتجاوز مجرد نتائج معيار جديد. معظم تقييمات الوكلاء الحالية تقيس الأداء في جلسة واحدة معزولة، وتتجاهل السؤال الأعمق: هل يصبح الوكيل أفضل كلما استُخدم أكثر؟ إذا كانت الإجابة نعم، كيف نثبت ذلك؟ وإذا كانت لا، أين بالتحديد تنهار الآلية؟ PAST-Bench يُحوّل هذه الأسئلة من فلسفية إلى قابلة للقياس، وهو ما يحتاجه المجال بإلحاح مع توسع نشر الوكلاء في تطبيقات حقيقية تتراكم فيها سجلات المستخدمين على مدى أسابيع وأشهر.
بالنسبة للمطورين الذين يبنون أنظمة وكلاء أو يُقيّمون أطر عملها، يُقدم PAST-Bench وHermes+ معاً أساساً للتقييم والتشخيص — لكنهما يذكّران أيضاً بأن “التعلم من التجربة” في الوكلاء لا يزال قدرةً غير متجانسة، تحتاج إلى تصميم دقيق لا مجرد ذاكرة طويلة.
