بقلم: نور | محررة الأبحاث والدراسات · صوت تحريري بإشراف بشري
قياس معدل النجاح وحده لم يعد كافياً لتقييم وكلاء الأمن السيبراني المدعومين بالذكاء الاصطناعي — هذا هو المحور الذي تدور حوله ورقة بحثية جديدة نشرها بول كاسيانيك وبلين نيلسون ويارون سينغر على arXiv في يوليو 2026، مطالبةً بإعادة النظر في الطريقة التي تُختبر بها هذه الأنظمة قبل نشرها في بيئات تشغيلية حقيقية.
الفرضية المركزية للبحث بسيطة لكن تداعياتها عميقة: في العمليات الأمنية الواقعية، كل خطوة استدلال يجريها النموذج، وكل استدعاء لأداة، وكل استعلام عن بيانات التتبع، وكل طلب إثراء معلوماتي — تستهلك ميزانية حقيقية. (وفقاً للبحث على arXiv) وحين تُقيَّم النماذج بمعدل نجاحها في أفضل حالاتها تحت ميزانيات inference سخية، فإن ذلك يرسم صورة مضللة عن قدرتها الفعلية حين يُنشر الوكيل تحت قيود اقتصادية صارمة.
اختبر الباحثون هذه الفرضية على نوعين متناقضين من المهام: تحديات Cybench الهجومية التي تحاكي سيناريوهات اختبار الاختراق والعثور على الثغرات، وتحديات Splunk BOTS v1 الدفاعية التي تحاكي عمل محللي مركز العمليات الأمنية SOC في التحقيق بالحوادث. (وفقاً للبحث على arXiv) الاختيار ليس اعتباطياً؛ هذان الطرفان يمثلان النقيضين الجوهريين في عمل الأمن السيبراني: الفريق الأحمر والفريق الأزرق.
النتائج التي توصل إليها الفريق تكشف عن نمطين مختلفين تماماً في طريقة تطور أداء الوكلاء مع زيادة الإنفاق الحسابي. على الجانب الهجومي، أداء CTF يتحسن بشكل واضح مع زيادة حوسبة وقت الاختبار (test-time compute)، والنماذج المفتوحة الموسّعة تستطيع الاقتراب من أداء النماذج الاحتكارية الحدودية مع الحفاظ على تنافسية تكلفتها. (وفقاً للبحث على arXiv) هذا يعني أن زيادة الإنفاق الحسابي لها عائد قابل للقياس في السيناريوهات الهجومية — تُعطِ الوكيل وقتاً وموارد أكثر، وسيجد الثغرة.
لكن الصورة تنقلب تماماً على الجانب الدفاعي. التحقيق في الحوادث الأمنية ضمن سياق SOC لا يتبع نفس منطق التوسع: النجاح هنا يعتمد بشكل أساسي على انضباط استخدام الأدوات، والتنقل الفعّال بين بيانات التتبع، والانتقائية في طلبات الإثراء المعلوماتي — لا على ضخ ميزانية استدلال أكبر. (وفقاً للبحث على arXiv) ببساطة: إعطاء وكيل دفاعي مزيداً من “وقت التفكير” لا يجعله أكثر فاعلية في تحليل سجلات الأحداث أو تتبع سلسلة الهجوم.
هذا الانفصال بين منطق التوسع الهجومي والدفاعي هو ما يجعل البحث يتجاوز كونه تقييماً تقنياً محضاً ليصبح حجة لإعادة تصميم كيفية بناء المعايير المرجعية في هذا المجال. (وفقاً للبحث على arXiv) المؤلفون يقترحون أن تقيس معايير وكلاء الأمن الكفاءة الاقتصادية والملاءمة التشغيلية بجانب معدل إنجاز المهام — وهو ما يسمونه التقييم المدرك للتكلفة (cost-aware evaluation).
الادعاء الأعمق هو أن التقييم الحالي القائم على أفضل حالة الأداء يخلق وهماً اقتصادياً خطيراً: قد تبدو نماذج معينة متفوقة في بيئة المختبر، لكنها غير قابلة للنشر فعلياً حين تحسب تكلفة كل استعلام وكل استدعاء أداة في بيئة إنتاجية تعمل على مدار الساعة. نشر نموذج بميزانية inference سخية في بيئة SOC حقيقية قد يكون مكلفاً بشكل غير مبرر دون عائد أمني يتناسب مع هذا الإنفاق.
ما يميز هذا البحث أيضاً هو تفكيك الأداء إلى مكوّنين منفصلين: إنفاق الاستدلال (inference spend) وإنفاق الأدوات (tool spend). هذا التفكيك يتيح للباحثين والمهندسين فهم من أين تأتي تكلفة الفشل، وليس فقط متى يفشل الوكيل. (وفقاً للبحث على arXiv) وكيل يفشل بسبب إهدار استدعاءات الأدوات يحتاج إصلاحاً مختلفاً تماماً عن وكيل يفشل لأن نموذجه الأساسي لا يملك القدرة الاستدلالية الكافية.
النتائج الكاملة متاحة للتصفح التفاعلي عبر الموقع التفاعلي الذي أعده الباحثون، مما يتيح مقارنة النماذج عند مستويات تكلفة ثابتة — وهو بحد ذاته نهج غير مألوف في تقديم نتائج الأبحاث الأمنية.
المسألة التي تطرحها هذه الورقة لمن يبني وكلاء أمن أو يقيّمها اليوم ليست “هل ينجح الوكيل؟” بل “ما تكلفة كل نجاح، وهل هي مقبولة تشغيلياً؟” — وهذا السؤال يظل مغيباً في معظم benchmarks المتداولة حالياً. إذا كنت تبني نظاماً لاكتشاف الثغرات أو تحليل الحوادث، فإن فجوة التقييم بين بيئة المختبر والإنتاج هي المشكلة التي لا يمكن تجاهلها بعد الآن.
