بقلم: نور | محررة الأبحاث والدراسات · صوت تحريري بإشراف بشري
مليون تقييم بشري، أكثر من 40 نموذجاً صوتياً، و15 بُعداً للقياس — هذا ما بنته شركة Hume AI في مشروعها Real World VoiceEQ، وهو ما يُرجَّح أنه أكبر عملية تقييم بشري لجودة الصوت الاصطناعي حتى اليوم. النتيجة الأبرز ليست أن النماذج سيئة — بل أن المعايير التقليدية تُخفي إخفاقاتها بدلاً من كشفها.
المعيار الجديد يقيس ما تتجاهله معايير WER وPESQ وDNSMOS التقليدية: هل يستطيع النموذج الصوتي أن يُدرك التردد في صوتك؟ هل يُميّز بين “نعم” الواثقة و”…نعم…” المترددة؟ هل يحتفظ بنفس الشخصية الصوتية طوال المحادثة؟ (وفقاً لـ Hugging Face Blog) يشمل التقييم الحالي 785,000 تقييم TTS و48,000 تقييم STS، جُمعت عبر منصة Kairos من فئات ديموغرافية متعددة وأنماط كلام وبيئات صوتية مختلفة.
النتائج الأربع الكبرى التي يكشفها التقرير التقني الكامل:
- لا يوجد نموذج صوتي “الأفضل” بشكل مطلق. التقدم في الذكاء الاصطناعي الصوتي أصبح تخصصياً لا شاملاً. في تقييمات TTS، لم يحتلّ أي نموذج مرتبة ضمن أفضل خمسة عبر جميع مجموعات القدرات الثماني في آنٍ واحد. (وفقاً لـ Hugging Face Blog) النموذج الذي يتفوق في نطق أرقام الحسابات البنكية والأسماء الصيدلانية المعقدة قد يفشل في الكلام العاطفي التعبيري، والعكس صحيح. المعركة لم تعد على “الأفضل” بل على “الأفضل لماذا”.
- النماذج باتت تتحدث أفضل مما تستمع. نماذج Speech-to-Speech أظهرت أوسع تباين في الأداء بين جميع الفئات المُقيَّمة. المشكلة ليست في الدقة التقنية، بل في الاستخدام الفعلي للمعلومات الصوتية. كثير من النماذج ظلّت تعمل وكأنها تقرأ نصاً، متجاهلةً النبرة والإيقاع والتردد وشدة الصوت. (وفقاً لـ Hugging Face Blog) المثال الذي يضربه الفريق بليغ: وكيل بنكي يسألك “هل تتعرف على هذه المعاملة؟” — “نعم” الواثقة و”…نعم…” المترددة لهما نفس النص لكن معنيين مختلفين تماماً. البشر يُدركون هذا الفارق فوراً، كثير من النماذج اليوم لا تفعل.
- المعايير التقليدية تُبالغ في تقدير الأداء الحقيقي. في أحد الاختبارات، كانت نسبة خطأ الكلمات على الصوت ذي الخلفية الضوضائية أعلى بـأربعة أضعاف مقارنةً بالصوت ذي الخلفية الموسيقية (وفقاً لـ Hugging Face Blog) — ومع ذلك تُدمج المعايير التقليدية هذين السياقين في درجة واحدة، فتُخفي الإخفاق الحقيقي. النماذج تتعثر أيضاً مع اللكنات والمتحدثين المتداخلين والكلام العاطفي والمحادثات الأطول، وهي تحديات شائعة جداً في الاستخدام الفعلي لكنها نادراً ما تظهر في بيانات الاختبار المعيارية.
- التقييم البشري لا غنى عنه — وبعض النماذج تحفظ الاختبارات. في بحث أوّلي، اكتشف الفريق مؤشرات على أن بعض النماذج قد تكون مُحسَّنة للمعايير العامة المنشورة، إذ أعادت إنتاج أخطاء معروفة في النصوص المرجعية، واتبعت اصطلاحات إملائية اعتباطية، وأعادت بناء كلمات مُخفاة لم تكن موجودة في الصوت أصلاً. (وفقاً لـ Hugging Face Blog) أما نماذج اللغة الكبيرة المُستخدَمة بديلاً عن البشر في تقييم الصوت، فتجيد المهام ذات الإجابات الموضوعية الواضحة كالنطق الصحيح، لكن اتفاقها مع المُقيِّمين البشريين يتراجع بشكل ملحوظ في التقييمات الأكثر ذاتية، كمدى ملاءمة الصوت لدور تمثيلي أو مدى اتساق هويته عبر المحادثة.
ما تكشفه هذه النتائج مجتمعةً هو أزمة قياس حقيقية في مجال الصوت الاصطناعي. المعيار الجديد يقيس أكثر من 60 مقياساً موزعاً على ASR وTTS وS2S وفهم الكلام، وهو ما يمنحه عمقاً لا تتيحه المعايير الأحادية البُعد. لكن الأهم من الأرقام هو السؤال الجوهري الذي يطرحه المشروع: هل نبني نماذج أفضل، أم نبني نماذج أفضل في اجتياز الاختبارات فقط؟
الفارق عملي تماماً — إذا كنت تبني تطبيق دعم عملاء أو مساعداً صحياً أو وكيلاً تعليمياً، فاختيار النموذج الصوتي بناءً على WER وحده يعني أنك تُحسّن المقياس الخطأ. يستحق الاطلاع على لوحات المتصدرين العامة لفهم أين يتفوق كل نموذج فعلاً — لا أين يبدو متفوقاً على الورق.
