صفر تطابق دقيق في 30 ألف إجابة من Jais وALLaM وثلاثة نماذج أخرى، والعربية أسوأ من الإنجليزية في كل الحالات.
ضمن ملف: نماذج الذكاء الاصطناعي، الذكاء الاصطناعي في الخليج
بقلم: نور | محررة الأبحاث والدراسات · صوت تحريري بإشراف بشري
المصدر الأساسي: ArXiv
لماذا يهم
مطورو التطبيقات الدينية والتعليمية الذين يبنون فوق نماذج مفتوحة صغيرة يواجهون خطر نشر أحاديث مختلقة بصياغة مقنعة، ما لم يضيفوا طبقة استرجاع من نصوص محققة.
لم تنجح أي إجابة من أصل 30,000 إجابة (وفقاً لـ arXiv) في استرجاع نص حديث نبوي بدقة. المقصود هنا إجابة تجمع بين التطابق اللفظي العالي والتطابق الدلالي العالي مع النص الأصلي. هذه هي النتيجة المركزية لـورقة بحثية منشورة على arXiv بعنوان «They Know Where It Is, But Not What It Says»، أي «يعرفون أين هو، لكن لا يعرفون ماذا يقول». اختبرت الورقة خمسة نماذج لغوية مفتوحة الأوزان قابلة للتشغيل محلياً، بينها نموذجان عربيان بارزان. والأسوأ بالنسبة لنا أن الإجابات العربية جاءت أضعف من الإنجليزية في جميع الحالات، بحسب الورقة البحثية.
الدراسة من إعداد ستة باحثين هم Dayam Nadeem وSafdar Mustafa وAmeen Ur Rehman وShahab Saquib Sohail وMohammad Nadeem وUsman Naseem، وقُدّمت في 2 نوفمبر 2026 (وفقاً لـ arXiv). شملت الاختبارات خمسة نماذج هي Mistral-7B وGemma3-4B وJais-7B وALLaM-7B وPhi4-mini-3.8B. وغطّت الكتب الستة المعتمدة عند أهل السنة: صحيح البخاري، وصحيح مسلم، وسنن أبي داود، وجامع الترمذي، وسنن النسائي، وسنن ابن ماجه. اختار الباحثون 500 حديث من كل كتاب، أي 3,000 حديث لكل نموذج في كل لغة (وفقاً لـ arXiv)، ليصل المجموع إلى 30 ألف إجابة عبر النماذج الخمسة واللغتين. وكانت المهمة محددة بصرامة: يتلقى النموذج المرجع الببليوغرافي فقط (الكتاب والباب ورقم الحديث)، ويُطلب منه إعادة النص حرفياً، دون أي استرجاع خارجي أو RAG. قيس الأداء بمعيارين: BLEU للدقة اللفظية، والتشابه الجيبي متعدد اللغات (multilingual cosine similarity) للدقة الدلالية. أما حالات الرفض، أي امتناع النموذج عن الإجابة، فرُصدت بشكل منفصل، بحسب الورقة.
لماذا اختار الباحثون الحديث تحديداً؟ لأنه مهمة قابلة للتحقق بالكامل. فلكل مرجع نص صحيح واحد، وأي انحراف عنه يُعدّ اختلاقاً قد يُظن أنه نص ديني موثوق، كما تقول الورقة البحثية. هنا يختلف الأمر عن الكتابة الإبداعية المفتوحة، حيث يصعب تحديد ما هو «خطأ». أما عنوان الدراسة نفسه فيلخص النمط الذي رصدته: النماذج تتعامل مع المرجع كأنها تعرفه، لكنها لا تعيد النص الصحيح. وهذا النوع من الهلوسة هو الأخطر، لأنه يأتي بثقة وبصياغة تشبه الأصل. لكن من المهم الفصل بين ما تثبته الورقة وما لا تثبته. الملخص المنشور لا يعرض أرقام كل نموذج على حدة، ولا يوضح العتبة التي اعتُبر عندها التطابق «عالياً»، ولا يذكر نسب الرفض. لذلك لا يمكن من الملخص وحده معرفة ما إذا كان Jais أو ALLaM أفضل حالاً من النماذج غير العربية. وتجدر الإشارة أيضاً إلى أن الدراسة نسخة أولية على arXiv لم تخضع بعد لتحكيم علمي، وأنها تعتمد على مصدر وحيد هو الورقة نفسها، ولم يتسنَّ التحقق من نتائجها بشكل مستقل حتى الآن.
ثمة حدّ آخر يجب أخذه في الحسبان. النماذج المختبرة صغيرة نسبياً، بين 3.8 و7 مليارات معامل (وفقاً لـ arXiv)، وقد اختيرت لأنها قابلة للتشغيل محلياً. الدراسة لم تختبر النماذج التجارية الكبرى، فتعميم النتيجة عليها غير مبرر من هذه البيانات وحدها. ومع ذلك، نرى في موجز أن هذا الحد لا يضعف الرسالة الأساسية بل يزيد إلحاحها. فالنماذج الصغيرة المحلية هي بالضبط ما تلجأ إليه التطبيقات الدينية والتعليمية محدودة الميزانية في منطقتنا، وكثير منها يُبنى اليوم فوق نماذج مفتوحة دون أي طبقة تحقق. وفشل نموذجين صُمّما للعربية في مهمة عربية بامتياز يطرح سؤالاً جدياً عن مدى تمثيل النصوص التراثية في بيانات تدريبهما.
توصية الباحثين واضحة. النماذج المفتوحة الحالية، إذا استُخدمت دون استرجاع موثّق، «غير موثوقة وقد تكون خطرة» مصدراً لاسترجاع النصوص الدينية حرفياً. وأي استخدام في الدراسات الإسلامية يجب أن يُلزم بتوليد معزز بالاسترجاع (RAG) من قاعدة نصوص محققة، بدلاً من الاعتماد على الذاكرة الداخلية للنموذج، بحسب الورقة البحثية. وإذا كنت تبني تطبيقاً للفتوى أو للتعليم الشرعي أو حتى روبوت محادثة عاماً يتلقى أسئلة دينية، فالخلاصة العملية أن النموذج يجب ألا يكتب نص الحديث من ذاكرته أبداً. دوره أن يجلب النص من مصدر محقق ويعرضه مع مرجعه. والجانب الإيجابي أن الباحثين أتاحوا الكود الكامل والـ prompts وخط التقييم والمخرجات المقيّمة للعموم، بحسب صفحة الورقة على arXiv. هذا يتيح للمطورين العرب إعادة الاختبار على نماذجهم الخاصة، بدل افتراض أن الضبط الدقيق على العربية كافٍ وحده.
ماذا يعني للمنطقة؟
الدراسة تختبر نموذجين عربيين بارزين هما Jais المطوَّر في الإمارات وALLaM المطوَّر في السعودية لدى سدايا، وتجد أن الأداء بالعربية أضعف من الإنجليزية، ما يمس مباشرة الرهان الخليجي على نماذج لغوية عربية موثوقة في المجالات الحساسة.
المصادر
