بقلم: نور | محررة الأبحاث والدراسات · صوت تحريري بإشراف بشري
بنسبة تحسين تبلغ 18 نقطة مئوية فوق خط الأساس في اختبار ARC-AGI-3، يُقدّم باحثون من جامعة كارنيغي ميلون إطار عمل جديداً اسمه PRO-LONG، يعيد التفكير من جذوره في كيفية إدارة ذاكرة وكلاء الذكاء الاصطناعي حين تمتد المهمة عبر تسلسلات طويلة من الملاحظات والقرارات.
المشكلة التي يعالجها PRO-LONG ليست جديدة، لكنها ظلت عصيّة على الحل: كلما احتاج وكيل LLM إلى الاحتفاظ بمعلومات أكثر عن بيئته، زاد حجم السياق الذي يُحمَّل إلى النموذج، وصعُب استرجاع التفاصيل الدقيقة ذات الصلة. الحلول التقليدية تقع في فخّ المقايضة: إما تحتفظ بكل شيء وتغرق النموذج، أو تُبسّط وتخسر المعلومات النقدية. (وفقاً للورقة البحثية)
الرهان الذي يضعه فريق Alexis Fox وJunlin Wang وزميليهما Paul Rosu وBhuwan Dhingra هو التخلي عن فكرة “تلخيص السياق”، والانتقال بدلاً منها إلى نموذج الذاكرة البرمجية: يحتفظ PRO-LONG بسجل تفاعل كامل ومُهيكل لكل ما حدث، ثم يوظّف قدرات وكلاء الكود الحديثة للبحث فيه بكفاءة عالية، بدلاً من تحميل كل شيء دفعةً واحدة. النتيجة العملية: السياق يبقى ضيقاً ودقيقاً، والذاكرة تبقى كاملة.
على مجموعة الألعاب العامة الكاملة لـ ARC-AGI-3، حقق PRO-LONG نتائج لافتة يمكن تفصيلها على النحو التالي:
- تحسين متوسط قدره 18.0 نقطة مئوية فوق وكيل الكود الأساسي عبر نماذج frontier متعددة (وفقاً لـ arXiv).
- بلوغ 76.1% pass@1 على ARC-AGI-3، مما يجعله يعادل أو يتفوق على الأطر المتخصصة الحالية (وفقاً لـ arXiv).
- استهلاك tokens أقل بمقدار 4.2 إلى 5.8 ضعف مقارنةً بتلك الأطر المتخصصة التي يوازيها في الأداء (وفقاً لـ arXiv).
- مع نموذج Fable 5 تحديداً، حقق PRO-LONG 97.4% best@2 بتكلفة إجمالية لم تتجاوز 1,750 دولاراً للمجموعة الكاملة (وفقاً لـ arXiv).
- جاءت هذه النتائج عبر تقييم “out of the box”، أي دون ضبط دقيق أو هندسة مخصصة لكل نموذج على حدة، مما يؤكد قابلية الإطار للتعميم (وفقاً للنص الكامل للورقة).
ما يمنح هذه النتائج ثقلها الحقيقي هو أن ARC-AGI-3 يُعدّ من أصعب مقاييس التفكير المستمر للوكلاء الحاليين، إذ يقيس القدرة على الإدراك المستدام والاستكشاف عبر خطوات متسلسلة طويلة — وهو النوع الذي تتعثر فيه النماذج الكبيرة حين تُختبر مباشرةً. تضع الورقة PRO-LONG في سياق تنافسي واضح: الأطر المتخصصة التي تتفوق عليه تكلّف أضعافاً في استهلاك الـ tokens، وهو ثمن قد يكون مقبولاً في البيئات البحثية لكنه غير واقعي في التطبيقات الإنتاجية التي تحسب الفواتير بالمليون token.
الإطار مبني على فكرة مفادها أن قدرات وكلاء الكود — أي قدرة النموذج على كتابة تعليمات بحث ومعالجة السجلات برمجياً — قد وصلت إلى مستوى يكفي لاستبدال آليات الاسترجاع الضبابية التقليدية. بدلاً من نظام RAG كلاسيكي أو نافذة سياق موسّعة، يكتب الوكيل كوداً يستعلم عن سجل تفاعله الخاص، ويستخرج منه بالضبط ما يحتاجه للخطوة التالية. هذا التحول يعني أن التطور في قدرات الكود مباشرةً يترجَم إلى تحسين في قدرات الذاكرة — دون الحاجة إلى إعادة تدريب أو تعديل الإطار ذاته.
الكود والسجلات متاحة للعموم، مما يتيح لأي فريق يعمل على وكلاء المهام المطوّلة اختبار PRO-LONG مباشرةً. السؤال الذي يستحق المتابعة: هل تصمد هذه المعادلة حين تتجاوز المهام حاجز المئات من الخطوات، حيث يصبح حجم سجل التفاعل نفسه عبئاً؟ الورقة تطرح الأفق لكنها لا تُغلقه.
