بقلم: نور | محررة الأبحاث والدراسات · صوت تحريري بإشراف بشري
تقييم نموذج واحد على اختبارات الوكلاء الكبرى مثل SWE-Bench وGAIA قد يكلّف آلاف الدولارات ويستغرق أياماً كاملة — وهذه المعادلة تحول دون إجراء تجارب متكررة خلال دورة تطوير النماذج. بحث جديد نشره فريق من الباحثين في الثاني من يوليو 2025 يقترح مساراً مختلفاً تماماً: بناء “مرجع وكيل” رخيص يتنبأ بالنتيجة الكاملة قبل أن تُنفق دولاراً واحداً على البنية التحتية الثقيلة.
الإطار يحمل اسم PACE — اختصار لـ Proxy for Agentic Capability Evaluation — ويعمل على مبدأ مفاده أن أداء النموذج على مجموعة صغيرة ومختارة بعناية من الاختبارات الذرية غير الوكيلية يمكنه التنبؤ بدقة بما سيحققه النموذج ذاته على الاختبارات الوكيلية الضخمة. (وفقاً للورقة البحثية على arXiv)
التحدي الجوهري الذي يعالجه PACE هو التفاوت الهائل في تكلفة نوعَي التقييم: الاختبارات الوكيلية تتطلب بيئات تنفيذ معقدة، وعمليات متعددة الخطوات، وأدوات خارجية، وبنية تحتية مخصصة — بينما الاختبارات الذرية غير الوكيلية، كتلك التي تقيس التفكير وتوليد الكود، سريعة وزهيدة التكلفة. السؤال كان: هل يمكن بناء جسر رياضي بين الاثنين؟
الجواب عملياً نعم. يختار PACE مجموعة فرعية من الاختبارات الذرية عبر استراتيجيتين متكاملتين: الأولى هي الاختيار المحلي المرتبط بالهدف (target-relevance local selection) الذي يجمع الأمثلة الأكثر صلة بالاختبار الوكيلي المستهدف، والثانية هي الاختيار العالمي المُخبِر (globally informative global selection) الذي يضمن تغطية المهارات التي تمتلك القدر الأكبر من القوة التفسيرية عبر النماذج المختلفة. بعد ذلك، يُجري PACE انحداراً (regression) يربط درجات النموذج على هذه المجموعة الصغيرة بدرجاته المتوقعة على الاختبار الوكيلي الكامل.
النتيجة التطبيقية لهذا الإطار هي PACE-Bench، المعيار الموحد الذي اختبره الباحثون عبر 14 نموذجاً و4 اختبارات وكيلية و19 اختباراً غير وكيلي. (وفقاً للورقة البحثية)
- متوسط الخطأ المطلق (MAE) أقل من 4% باستخدام التحقق المتقاطع Leave-One-Out، ما يعني أن التنبؤ بدرجة نموذج لم يُدرَّج في بناء الانحدار دقيق بهامش خطأ لا يتجاوز أربع نقاط مئوية.
- معامل ارتباط سبيرمان فوق 0.80، ما يدل على أن الترتيب النسبي للنماذج يُحفظ بصورة موثوقة — وهو الأهم عند المقارنة بين خيارات متعددة.
- دقة تصنيف النماذج زوجياً (pairwise model-ranking accuracy) حول 85%، أي أن PACE يصيب في تحديد أي النموذجَين أفضل في ثمانية من كل عشرة مقارنات.
- التكلفة الإجمالية أقل من 1% من تكلفة التقييم الوكيلي الكامل، ما يحوّل عملية تقييم قد تستغرق أياماً وآلاف الدولارات إلى شيء يمكن تشغيله خلال دقائق بأسعار هامشية.
ما يكشفه تحليل الأمثلة المختارة لا يقل أهمية عن الأرقام نفسها: كل اختبار وكيلي يتطلب مزيجاً مختلفاً من المهارات الذرية، ما يعني أن PACE لا يوفر فقط أداةً للتنبؤ، بل يُضيء “بصمة المهارات” الفريدة لكل benchmark. هذا مفيد لفِرق التطوير التي تريد فهم أين تكمن نقاط ضعف نموذجها تحديداً قبل التوجه نحو التدريب الإضافي أو fine-tuning.
السياق الذي يجعل هذا البحث ذا صلة مباشرة بالمطورين والباحثين: دورة تطوير النماذج الحديثة تتضمن عشرات الاختبارات التجريبية قبل الإصدار النهائي، وتقييم كل checkpoint على اختبارات وكيلية كاملة غير ممكن اقتصادياً. PACE يسمح بالتكرار السريع دون التضحية بالمعلومات التقييمية — وهو ما تحتاجه أي فريق يعمل على تحسين وكلاء البرمجة أو الوكلاء متعددة الخطوات. وللاطلاع على أبعاد أخرى من تحديات تقييم الوكلاء، يمكن مراجعة ما كشفه بحث سابق حول حلقات إصلاح الكود وتناقص العوائد بعد ثلاث تكرارات.
القيد الواضح الذي لا تذكره الورقة صراحةً: PACE يعتمد على pool من الاختبارات الذرية الموجودة مسبقاً، ما يعني أن دقته مرهونة بجودة هذا المخزون وتغطيته للمهارات المطلوبة. إذا ظهر benchmark وكيلي جديد يتطلب مهارات غير ممثّلة في الاختبارات الذرية المتاحة، فستحتاج إلى إعادة بناء proxy من الصفر. لكن بالنسبة للمشهد الحالي من الاختبارات — SWE-Bench وGAIA وأخواتهما — تبدو الأرقام مقنعة بما يكفي لأن تدمج PACE في workflow التقييم لديك.
