بقلم: نور | محررة الأبحاث والدراسات · صوت تحريري بإشراف بشري
يحصل قطاع العملاء الصوتيين على أكبر مجموعة بيانات تقييم إلى الآن مع إطلاق EVA-Bench 2.0 بـ213 سيناريو تقييم موزعة على ثلاثة مجالات مؤسسية جديدة تماماً، مع زيادة (تقدر بـ4 أضعاف من الإصدار الأول وفقاً لـServiceNow AI).
أفشلت العملاء الصوتيين في السابق نظراً لطبيعة التحديات الخاصة بكل مجال، فالنظام الذي يتعامل مع أكواد التأكيد الرقمية في حجوزات الطيران بلا أخطاء قد يتعثر تماماً عند التعامل مع سياسات الموارد البشرية المعقدة. لهذا تضع EVA-Bench 2.0 العملاء الصوتيين أمام اختبار حقيقي عبر ثلاثة مجالات مؤسسية كاملة: خدمة العملاء للطيران (CSM) بـ50 سيناريو، إدارة خدمات تقنية المعلومات للمؤسسات (ITSM) بـ80 سيناريو، وخدمات الموارد البشرية للرعاية الصحية (HRSD) بـ83 سيناريو.
لا تكتفي المنصة بالكمية فحسب، بل تضمن أن كل سيناريو من الـ213 سيناريو قابل للحل فعلياً عبر اختباره ضد ثلاثة من النماذج الرائدة: OpenAI GPT-5.4 وGoogle Gemini 3.1 Pro وAnthropic Claude Opus 4.6. هذا التحقق المسبق يعني أن فشل العميل الصوتي في إنجاز مهمة معينة يعكس قصوراً حقيقياً في الأداء وليس عيباً في تصميم السيناريو نفسه.
تبنت EVA-Bench منهجاً فريداً في تصميم البيانات عبر خمسة مبادئ أساسية تضمن أن التقييم يعكس الواقع الفعلي لبيئات العمل. أولاً، التركيز على المهام الصوتية الحقيقية فقط – لا تشمل البيانات سوى المهام التي تتم بالفعل عبر الهاتف في الشركات الحقيقية. ثانياً، الواقعية عبر نمذجة واجهات برمجة التطبيقات (APIs) بناء على أنظمة الإنتاج الفعلية، مع سياسات مؤسسية مستمدة من قيود الشركات الحقيقية. ثالثاً، التنويع عبر ثلاثة أنواع من السيناريوهات: المكالمات ذات الهدف الواحد، المكالمات متعددة الأهداف بحد أقصى أربعة أهداف في محادثة واحدة، والمكالمات العدائية التي يحاول فيها المتصلون تجاوز خطوات استكشاف الأخطاء أو الوصول لسجلات غير مصرح لهم بها.
يحل التصميم المبتكر لـEVA-Bench مشكلة أساسية واجهت أنظمة التقييم السابقة: عدم الاتساق في النتائج. تستخدم المنصة تقنية SyGra لتوليد ثلاثة مكونات مترابطة بشكل مشترك لكل سيناريو: هدف المستخدم المُهيكل كشجرة قرارات تحدد بالضبط كيف يجب أن يتصرف المحاكي، قاعدة بيانات السيناريو الأولية التي تحتوي على كل كيان مرجعي، والحالة النهائية المتوقعة لقاعدة البيانات التي تمثل الإنجاز الناجح للمهمة.
- التحقق الهيكلي: التأكد من صحة قاعدة بيانات السيناريو ضد مخطط Pydantic للكشف عن أخطاء الأنواع والحقول المفقودة
- التحقق بواسطة النماذج اللغوية: فحص الاتساق الشامل عبر السيناريو للتأكد من تطابق تفاصيل المستخدم مع سجلات قاعدة البيانات
- التحقق من المسار الكامل: فحص المحادثة الكاملة للتأكد من الالتزام بالسياسات والتسلسل الصحيح للإجراءات
أما على مستوى التطبيق العملي، فتوفر EVA-Bench 2.0 كود Python مباشر لتحميل أي من المجموعات الثلاث:
“`python
from datasets import load_dataset
# خدمة العملاء للطيران — 50 سيناريو
airline = load_dataset(“ServiceNow-AI/eva-bench”, “airline”, split=”test”)
# إدارة خدمات تقنية المعلومات — 80 سيناريو
itsm = load_dataset(“ServiceNow-AI/eva-bench”, “itsm”, split=”test”)
# خدمات الموارد البشرية للرعاية الصحية — 83 سيناريو
hrsd = load_dataset(“ServiceNow-AI/eva-bench”, “medical”, split=”test”)
“`
تكشف التفاصيل التقنية لمجال إدارة خدمات تقنية المعلومات للمؤسسات عن مستوى التعقيد الحقيقي الذي تواجهه العملاء الصوتيين. يشمل هذا المجال سيناريوهات إعادة تعيين كلمات المرور، وإدارة تذاكر الدعم التقني، ومعالجة طلبات الأجهزة، مع التركيز على التحقق من الهوية متعدد المستويات والتعامل مع السياسات الأمنية المعقدة. بينما يقدم مجال خدمات الموارد البشرية للرعاية الصحية تحدياً مختلفاً تماماً يتطلب فهماً دقيقاً لسياسات الرعاية الصحية الأمريكية، بما في ذلك أرقام NPI وقوانين FMLA وتغطية التأمين الصحي.
لا تتوقف الابتكارات عند هذا الحد، فالفريق يعمل على إضافة الدعم متعدد اللغات الذي يتجاوز مجرد ترجمة المحادثات ليشمل تكييف خط تقييم كامل لكل لغة وثقافة مستهدفة. يعني هذا تعديل أسماء المواقع المرجعية في السيناريوهات، وأسماء المستخدمين وعناوين البريد الإلكتروني، وأرقام الهواتف المحلية، مما يوفر تجربة أصيلة باللغة المختارة.
تتوفر EVA-Bench 2.0 كاملة مجاناً تحت ترخيص MIT، مع إمكانية الوصول المباشر لمجموعة البيانات وإطار التقييم ولوحة المتصدرين عبر منصة Hugging Face. هذه الشفافية الكاملة تعني أن أي فريق تطوير يمكنه الآن اختبار عميله الصوتي ضد معايير صناعية حقيقية دون الحاجة لتطوير بنية تحتية معقدة للتقييم.
الرهان الأكبر هنا ليس على كمية السيناريوهات، بل على قدرة هذه المعايير على كشف الفجوات الحقيقية في أداء العملاء الصوتيين قبل نشرها في بيئات الإنتاج. فالعميل الصوتي الذي يفشل في التعامل مع طلب إجازة FMLA معقد اليوم سيفشل حتماً عند مواجهة مواقف مماثلة في الواقع العملي غداً.
