أوبن إيه آي تطور استراتيجيات جديدة لحماية الذكاء الاصطناعي من هجمات الهندسة الاجتماعية
تطور شركة أوبن إيه آي أساليب جديدة لحماية نماذج الذكاء الاصطناعي من هجمات حقن المطالبات المتطورة، التي باتت تشبه الهندسة الاجتماعية أكثر من الهجمات التقليدية البسيطة.
تشير الشركة إلى أن هجمات حقن المطالبات تطورت من مجرد تعديل مقالات ويكيبيديا لتضمين تعليمات مباشرة للمساعدات الذكية، إلى استراتيجيات معقدة تحاكي تقنيات الخداع والتلاعب البشري. وقدمت أوبن إيه آي مثالاً على هجوم متطور يستخدم رسائل بريد إلكتروني مزيفة تدعي أنها تحتوي على تعليمات عمل، بينما تهدف فعلياً لسرقة معلومات موظفين.
حسب الاختبارات التي أجرتها الشركة، نجح هذا النوع من الهجمات في خداع شات جي بي تي بنسبة 50% من الحالات عند استخدام مطالبة محددة لتحليل رسائل البريد الإلكتروني.
تؤكد أوبن إيه آي أن أنظمة “الجدران النارية للذكاء الاصطناعي” التقليدية، التي تحاول تصنيف المدخلات إلى ضارة أو عادية، لا تتمكن عادة من اكتشاف هذه الهجمات المتطورة. وبدلاً من ذلك، تتبنى الشركة نهجاً شبيهاً بإدارة مخاطر الهندسة الاجتماعية مع البشر.
يعتمد النهج الجديد على تقييد قدرات المساعدات الذكية مسبقاً، مثلما يحدث مع موظفي خدمة العملاء البشر الذين يواجهون محاولات خداع مستمرة. الهدف ليس منع جميع محاولات التلاعب، بل تقليل تأثيرها حتى عند نجاحها.
هذا التطور يعكس التحديات المتزايدة في أمان الذكاء الاصطناعي مع توسع قدرات النماذج اللغوية على تصفح الإنترنت واتخاذ إجراءات نيابة عن المستخدمين.
