بقلم: نور | محررة الأبحاث والدراسات · صوت تحريري بإشراف بشري
المشكلة التقليدية مع وكلاء الواجهات الرسومية (GUI Agents) أنهم يتجمدون عند نقطة النشر — أي أن ما تعلمه النموذج قبل الإطلاق هو كل ما سيعرفه إلى الأبد، بصرف النظر عن كل الواجهات الجديدة التي سيصطدم بها. ورقة بحثية نشرها شيو شوان وزيتشاو لي على arXiv في أغسطس 2026 تكسر هذا الجمود بإطار يسميان فيه “التطور الذاتي وقت الاختبار” (Test-Time Self-Evolving)، ويحقق تحسناً في الدقة بمتوسط 7.4% فوق النموذج الأساسي عبر ستة benchmarks مختلفة — دون الحاجة إلى أي بيانات تدريب بشرية جديدة.
ما يميّز هذا الإطار عن محاولات التكيّف السابقة هو معالجته لنقطة عمياء حرجة: تقنيات التعلم المعزز وقت الاختبار (test-time reinforcement learning) القائمة كانت تستطيع استكشاف الواجهات الجديدة، لكنها عاجزة عن الاستفادة من الإخفاقات — أي أن النموذج يحاول، يخطئ، ثم يمضي قُدُماً دون أن يفهم لماذا أخطأ. الإطار الجديد يغلق هذه الحلقة المفقودة من خلال أربع مراحل متكاملة.
آلية العمل مبنية على دورة مغلقة تبدأ بالاستكشاف: يتولى الوكيل التنبؤ بإحداثيات الإشارة (grounding coordinates) لتعليمات معطاة على واجهة لم يرها من قبل. ثم تأتي مرحلة التقييم عبر مكوّن يسميه الباحثان “Reflector” — نموذج MLLM مدمج يفحص النتائج المُولَّدة ويصدر تقييماً مصحوباً بتأمل استنتاجي (reasoning reflections). هذا التأمل ليس ملاحظة عابرة، بل يُترجَم لاحقاً إلى إشارة تدريبية كثيفة على مستوى الرموز (dense token-level supervision) عبر تقنية تسمى Reflection-Guided On-Policy Self-Distillation، التي تعمل من خلال “معلم ذاتي مشروط” (conditioned self-teacher) يُدمج المعرفة المستخلصة مباشرةً في أوزان النموذج دون الحاجة إلى معلم خارجي أو تسميات بشرية.
المشكلة الأعمق التي يعالجها الإطار هي ما يعرفه المختصون بـ”فساد إشارة الإشراف” خلال الاستكشافات الفاشلة. حين يُخطئ النموذج ويُولّد بادئة تتنبؤية خاطئة (incorrect auto-regressive prefix)، فإن استخدام هذا الإخفاق مباشرةً في التدريب يضر أكثر مما ينفع. هنا يدخل ما يسميه الباحثان “Contrastive Calibration” — تقنية مُصمَّمة خصيصاً لعزل البادئات الخاطئة وتمنعها من تلويث الإشارة التدريبية، مما يتيح للنموذج التعلم من الفشل دون أن يتعلّم الفشل ذاته.
الأثر العملي لهذا البحث يمسّ كل من يبني تطبيقات اختبار واجهات أو أتمتة مهام رسومية. النماذج الحالية — مهما كانت قوتها — تصطدم بحائط كلما واجهت واجهة مستخدم لم تُدرَّب عليها: قوائم مخصصة، لوحات إدارية داخلية، تطبيقات متخصصة. الحل التقليدي كان إعادة ضبط النموذج fine-tuning بيانات جديدة، وهذا يستلزم وقتاً وتكلفة ومهندسين. ما يقترحه هذا الإطار هو نموذج يُشخّص ضعفه بنفسه، ويُعالجه بنفسه، ويتقدم بنفسه — طالما يمكنه التفاعل مع الواجهة واستقبال تغذية راجعة بصرية.
يصف الباحثان عملهم بوصفه الأول الذي ينجح في توظيف On-Policy Self-Distillation لتكيّف وقت الاختبار تحديداً في مجال GUI Visual Grounding، وهو ادعاء جوهري إذا تحقق بالتطبيق الفعلي. التحقق الكامل يظل مشروطاً بالإفراج عن الكود — الذي أعلن الباحثان أنه قادم — وبنتائج المجتمع على datasets مستقلة. لكن تحسين 7.4% موزعاً على ستة benchmarks ليس رقماً عشوائياً؛ إنه يشير إلى أن الإطار لا يُحسّن أداءه على حالة واحدة بعينها، بل يُظهر مرونة تعميم فعلية.
الجانب الأكثر إثارةً للتساؤل هو توسّعية الإطار (scalability): كلما زاد عدد الواجهات التي يستكشفها الوكيل، زادت تكلفة استدعاء الـReflector في كل جولة. وبما أن الـReflector نفسه نموذج MLLM، فإن هذا يعني تكلفة inference إضافية في كل خطوة تعلم — معادلة قد تكون مقبولة في بيئات المؤسسات، لكنها تستحق دراسة دقيقة في النشر على نطاق واسع. أسئلة من قبيل: كم عدد الاستكشافات الكافية قبل تشبّع التحسين؟ وكيف تتصرف الدورة حين تكون واجهة المستخدم شديدة الديناميكية؟ — هذه أسئلة تُرك الإجابة عنها للتجارب المقبلة والكود المفتوح.
