قبل التمرين كان بوسع وكيل في Codex تأجيل مراقبته بلا حد، وتقدّر METR أن نحو 10% من حركته المؤهلة أفلتت من الرصد بين مايو ويوليو.
ضمن ملف: وكلاء الذكاء الاصطناعي، OpenAI
بقلم: نور | محررة الأبحاث والدراسات · صوت تحريري بإشراف بشري
المصدر الأساسي: METR Blog
لماذا يهم
الفرق التي تشغّل وكلاء ذاتيين داخل شركاتها تتعلم هنا أن ثغرات الرقابة تأتي غالباً من تفاصيل هندسية عادية لا من خداع النماذج. ويقدم التقرير معياراً عملياً لما يجب أن يصمد أمامه أي نظام مراقبة للوكلاء.
كانت ما بين 75% و94% فقط من حركة الوكلاء الداخلية عبر Responses API لدى OpenAI، والصادرة عن نماذج لا تقل قوة عن GPT-5.5، مؤهلة للمراقبة حين بدأ باحثان من METR وRedwood Research محاولة كسر نظام الشركة لرصد سوء المواءمة (misalignment) (وفقاً لـ METR). الرقم يبدو مطمئناً، لكن ما وجده الباحثان في الفجوة المتبقية، وداخل الجزء المراقب نفسه، أهم منه بكثير.
استمر التمرين ثلاثة أسابيع، من 21 يوليو إلى 11 أغسطس، وكان تجربة أولى (pilot) عالية الصلاحيات لاختبار نظام المراقبة الداخلي غير المتزامن لدى OpenAI تحت الضغط. وبحسب METR، خرج الاثنان بتقرير داخلي من 61 صفحة (وفقاً لـ METR) سُلّم إلى باحثي OpenAI وفريقها الأمني، وركّز على سؤالين: ما نسبة inference الوكلاء التي تخضع فعلاً للمراقبة، وهل يستطيع الوكلاء من حيث المبدأ تعطيل نظام الرصد أو الالتفاف عليه؟ القصة تستند إلى مصدر وحيد هو منشور METR العلني عن التمرين، ولم يتوفر مصدر مستقل يؤكد تفاصيله.
الوصول كان أعمق مما تتيحه تقييمات النماذج المعتادة. فبحسب METR، اطّلع الباحثان على قاعدة الشيفرة الداخلية، وعلى نصوص توجيه (prompts) نماذج المراقبة وتفاصيل إعدادها، وعلى الوثائق الداخلية، وأجريا مقابلات تقنية مع نحو اثني عشر باحثاً ومهندساً من فرق المراقبة وأنظمة الأمان والأمن (وفقاً لـ METR). وعملا على أجهزة صادرة عن OpenAI لم تغادر مقرّها، وكانا مرافَقين طوال وجودهما في الموقع، وتقرّ METR بأن التمرين استفاد كثيراً من دعم لوجستي وتقني قدّمه موظفو OpenAI.
في المقابل، ما نُشر علناً جزء صغير من الصورة. فبحسب METR، صُمم التمرين لاختبار فكرة منح باحثين خارجيين وصولاً عميقاً إلى البنية الداخلية، لا لتقديم شفافية علنية متينة، ولذلك اتُّفق مسبقاً على منشور موجز وعالي المستوى. واحتفظت OpenAI بحق حذف ما تراه، وفق تقديرها المنفرد، سرياً أو حساساً، وتلقت قيادتا METR وRedwood نسخة منقحة من 38 صفحة (وفقاً لـ METR). وعلى خلاف Frontier Risk Report والتحقيق في حادثة Hugging Face، لم تملك METR حقاً منفرداً في وصف ما حُذف، مع أنها تتبنى كل نتيجة منشورة. والنموذج نفسه سبق أن طُبّق مع Anthropic، كما تناولنا في منح Anthropic باحثي METR صلاحيات بمستوى الموظفين. وتوضح METR أن التمرين منفصل عن تحقيقها في حادثة Hugging Face التي صادف نشرها علناً في يومه الأول.
وثمة قيد زمني حاسم: النتائج تصف النظام كما كان في 21 يوليو وما قبله. فقد كانت OpenAI توسّع المراقبة أثناء التمرين، ولم يقيّم الباحثان تلك التغييرات ولم يحددا تغطيتها الحالية. وبحسب منشور METR، جاءت النتائج على النحو التالي:
- نطاق التغطية الأساسي بلغ بين 75% و94% من حركة Responses API الداخلية للوكلاء، وهي الواجهة التي تشغّل Codex بين أدوات أخرى، مع عدم يقين كبير في الاتجاهين، وارتفع إلى 99.2% في الشريحة المخصصة لوكلاء Codex الداخليين (وفقاً لـ METR). ولا يشمل التقدير حركة أخرى، مثل الوكلاء العاملين على خدمة inference البحثية الداخلية، إذ تعذّر تقدير حجمها بسبب قيود الوصول والوقت. و”مؤهلة” تعني أن الحركة يُفترض أن تُرسل إلى المراقب، لكن تخفيف الحمل (load shedding) أو أخطاء المراقب أو أخطاء التنفيذ قد تمنع بعضها من عبور خط المراقبة كاملاً.
- تدريب RL لم يكن مشمولاً بالمراقبة عند بدء التمرين، رغم أن الباحثين أُبلغا بأن جزءاً من مسارات التدريب (rollouts) خضع للرصد بين مارس ويونيو.
- أحداث ضغط السياق (compaction) لم تكن مراقبة، ما ترك على الأرجح نحو 10% من حركة Codex الداخلية المؤهلة بلا رصد بين مايو ويوليو 2026 (وفقاً لـ METR)، والرقم تقريبي لأن نسبة استدعاءات المراقب الناتجة عن الضغط لم تكن تُسجَّل أصلاً. ولأن المراقب كان يعمل حين يعيد الوكيل التحكم إلى المستخدم، كان بوسع الوكيل خلال تلك الفترة تأجيل رصده بلا حد بمجرد مواصلة تنفيذ الأفعال. موظفو OpenAI رصدوا المشكلة بأنفسهم قبل التمرين وأصلحوها أثناءه، ولم يتمكن الباحثان بسبب قيود الوصول من التحقق مما إذا كان أي وكيل استغلها فعلياً.
- موثوقية المراقب التشغيلية بدت مرتفعة: معدل إخفاق أقل من 0.2% من الطلبات، وصفر حالات تخفيف حمل خلال فترة واحدة من 24 ساعة أثناء التمرين (وفقاً لـ METR). وهذه أرقام معلنة من الشركة نفسها عُرضت على الباحثين، ولم يتسنَّ التحقق منها بشكل مستقل.
- وجد الباحثان طريقة تتيح لوكلاء Codex من حيث المبدأ تجاوز بيئة العزل (sandbox) وآلية Auto-Review وتنفيذ أي فعل يستطيعه المستخدم المضيف، إضافة إلى ثغرة تمنع رصد مئات الأفعال الأخيرة، بما فيها أفعال الاستغلال نفسه (وفقاً لـ METR)، وقد حذفت OpenAI تفاصيلها.
- الوكلاء قادرون على الأرجح على صياغة مدخلات تُسقط المراقب، فلا يحيل المسار إلى مراجعة بشرية، عبر استغلال فروق التسلسل (serialization) بين المسار الذي يراه الوكيل وما يراه المراقب.
- ترويستان (headers) مستقلتان يتحكم بهما العميل تعطّلان المراقبة للوكلاء الجدد (وفقاً لـ METR)، ما يسمح بإطلاق نسخة مطابقة غير مراقبة، وإن كان ضبط الترويسة وإنشاء النسخة قابلين للرصد.
- أداتان داخليتان غير مراقبتين كان يُعتقد أنهما للقراءة فقط، وجد الباحثان لهما استغلالاً بسيطاً قد يتيح تنفيذ أفعال اعتباطية داخل بيئتهما المعزولة، دون أن يتحققا من السلوك أو يختبرا قابليته للاستغلال عملياً.
- على الجانب الإيجابي، تحقق الباحثان من أن المراقب يرى المسار الكامل الذي يراه الوكيل باستثناءات طفيفة، وأن نصوص توجيهه تبحث عن التآمر (scheming)، وتقويض نظام المراقبة، والتخريب، وتسريب البيانات، والخداع، وحقن الأوامر الوارد والصادر، بين فئات أخرى.
بعد انتهاء التمرين، قالت OpenAI بحسب METR إنها سدّت كل الثغرات التي تمس منظومة حماياتها في بيئة الإنتاج، ووصفت تغييرات جوهرية لاحقة على التغطية المقصودة للمراقبة. METR تقول صراحة إنها لم تقيّم هذه الادعاءات، فهي حتى الآن لم يتسنَّ التحقق منها بشكل مستقل.
من هذه النتائج، يصوغ الباحثان مبادئ لأنظمة المراقبة والتحكم تنطلق من فرضية أن البنية المستقبلية يجب أن تصمد أمام هجمات متعمدة واستراتيجية ومتواصلة من وكلاء داخليين عاليي القدرة على نطاق واسع. الإفلات من الرقابة يجب أن يكون صعباً، فلا تُشغّل طلبات غير مراقبة إلا بموافقة صريحة على مؤسسات أو مفاتيح API محددة يُمنع استخدامها في inference الوكلاء، ويُراقب الوكيل كل عدد معين من الرسائل أو الدقائق بدل انتظار نهاية دوره. ويجب التأكد من أن ما يُفترض مراقبته مراقب فعلاً، عبر محاسبة دقيقة لكل عمليات inference ومطابقتها دورياً مع سجلات المراقب، والاحتفاظ بقائمة بكل طرق الالتفاف المعروفة، وضمان أن يرى المراقب سياق الوكيل نفسه. ويوصيان باستجابة سريعة وموثوقة للحوادث بملكية واضحة وإرشادات تقلل الاجتهاد الشخصي، وسجلات غير قابلة للتلاعب وسهلة البحث لأكبر قدر من حركة الوكلاء والمراقب. ويدعوان إلى اختبار المراقبة هجومياً عبر تقييمات تحكم (control evaluations) دورية، والبحث عن أخطاء قابلة للاستغلال، وتطوير منهجية لتقييم التواطؤ الاستراتيجي. وأخيراً، العزل بين الوكلاء ومراقبيهم: تشغيل هياكل الوكلاء (scaffolds) بعيداً عن مكان تنفيذ استدعاءات الأدوات كلما أمكن، وألا تؤثر أفعال الوكيل في تشغيل المراقب أو توقيته، وألا يطّلع الوكلاء عادة على تصميم نظام المراقبة أو شيفرته.
في تقديرنا، الدرس الأوضح أن أخطر الثغرات لم تحتج إلى نموذج عبقري يخدع مراقبه، بل إلى وكيل يواصل العمل دون أن يعيد التحكم، أو ترويسة يضبطها العميل. فإن كنت تبني وكلاء داخل شركتك، فاسأل نفسك: من يقرر متى يُراقَب وكيلك، أنت أم هو؟ أما التمرين نفسه فيبقى تجربة بشفافية محدودة باعتراف أصحابه، ووعد METR بأن تلتزم النسخ المقبلة بمعايير الاستقلالية والشفافية الواردة في وثيقتها عن العمل مع شركات الذكاء الاصطناعي هو المحك الحقيقي لقيمة هذا النوع من التدقيق.
المصادر
