نموذج عربي واحد بلغ 0.984 في تمييز الأوامر غير الآمنة، لكنه تراجع إلى 0.790 حين طُلب منه تحديد نوع الضرر.
ضمن ملف: نماذج الذكاء الاصطناعي، G42 والذكاء الاصطناعي في الإمارات
بقلم: نور | محررة الأبحاث والدراسات · صوت تحريري بإشراف بشري
المصدر الأساسي: ArXiv
لماذا يهم
فرق تطوير المساعدات العربية تحصل على وصفة موثقة لطبقة حماية تفهم اللهجات بنموذج متوسط الحجم، مع تحذير واضح من الاعتماد على تصنيف نوع الضرر.
بلغ معدل macro-F1 في التمييز بين الأوامر العربية الآمنة وغير الآمنة 0.984 (وفقاً لـ arXiv). هذه هي النتيجة التي منحت فريق AK_QMUL المركز الأول في المهمة الثنائية من مسابقة ArGuard-2026 المشتركة. وتصدّر الفريق أيضاً المهمة الثانية، وهي تصنيف الضرر إلى سبعة مجالات، بمعدل 0.790 (وفقاً لـ arXiv). والفارق بين الرقمين هو القصة الحقيقية: أن يعرف النموذج أن الأمر خطر أسهل بكثير من أن يعرف نوع خطره.
تأتي هذه النتائج من ورقة بحثية للباحثين علي خير الله وأركايتز زوبياغا، قُدّمت إلى arXiv في 26 أكتوبر 2026، وهي مدرجة بحسب الورقة ضمن وقائع المؤتمر الرابع لمعالجة اللغة العربية الطبيعية (المهام المشتركة) في الصفحات من 347 إلى 351 (وفقاً لـ arXiv). القصة كلها تقوم على مصدر وحيد هو هذه الورقة، والأرقام معلنة من فريق البحث نفسه ولم يتسنَّ التحقق منها بشكل مستقل. كما لا يتضمن الملخص لوحة الترتيب الرسمية ولا الفارق مع الفرق المنافسة، فلا نعرف هل كان التفوق كاسحاً أم بفارق ضئيل.
الطريف في الحل أنه لا يعتمد على منظومة نماذج متراكبة. استخدم الفريق في المهمتين عموداً فقرياً واحداً هو JAIS-6.7B، أي نموذج JAIS بحجم 6.7 مليار معامل، جرى ضبطه عبر fine-tuning بتقنية QLoRA مع تكميم إلى 4 بت، وفوقه رأس تصنيف خطي يقرأ تمثيل آخر token في السلسلة، بحسب الورقة. في المهمة الثنائية B1 لم يدرّب الباحثان رأساً ثنائياً مباشراً، بل رأساً رباعياً يقسّم كل تصنيف بحسب سجل اللهجة: {آمن، غير آمن} × {فصحى، غير ذلك}. ثم وسّعا بيانات التدريب بأوامر مكتوبة بالفصحى من مجموعة AraSafe، وعند الاستدلال يكفي argmax بسيط تُدمج نتيجته في آمن أو غير آمن، بحسب الورقة.
في المهمة السباعية B2 ضُبط النموذج نفسه كمصنّف من سبع فئات، ثم حُسب متوسط مخرجات softmax لخمس نسخ دُرّبت ببذور عشوائية مختلفة (وفقاً لـ arXiv). أما تفاصيل الأداء فتقول الورقة إن دقة النموذج في B1 تراوحت بين 93.6% و99.8% عبر اللهجات الست كلها (وفقاً لـ arXiv)، وإن نسبة الأوامر التي يصنفها “غير آمنة” تقترب كثيراً من النسبة الحقيقية. وفي B2 حققت ست فئات من أصل سبع معدل F1 بين 0.73 و0.98 (وفقاً لـ arXiv)، بينما تركّز الخطأ المتبقي في فئة Bully (التنمر) التي تتداخل دلالياً مع فئتي التحرش وإيذاء الآخرين، بحسب الورقة.
ماذا تعني هذه الأرقام لمن يبني منتجاً عربياً فوق LLM؟ نقرأ فيها ثلاث دلالات:
- تصميم التصنيفات قد يكون أهم من حجم النموذج. فصل الفصحى عن غيرها داخل رأس التصنيف حيلة رخيصة، ونراها الجزء الأجدر بالنقل إلى مشاريع أخرى، لأن الخلط بين الفصحى والعامية سبب شائع لتعثر المصنّفات العربية. لكن الملخص لا يقدّم مقارنة مباشرة تثبت مقدار ما أضافته هذه الحيلة وحدها.
- اقتراب نسبة الحجب المتوقعة من النسبة الحقيقية يعني، إن صمد خارج المسابقة، أن طبقة الحماية لا تميل منهجياً إلى الإفراط في الحجب ولا إلى التساهل. وهذا ما يحدد تجربة المستخدم الفعلية أكثر من رقم F1 الإجمالي.
- معدل 0.790 في تحديد نوع الضرر لا يكفي لنظام إنتاجي يبني ردوده على الفئة الدقيقة. ومشكلة التنمر تبدو، في تقديرنا، مشكلة في حدود الفئات نفسها أكثر منها ضعفاً في النموذج، فحين تتداخل التعريفات يتعثر حتى المصنّف البشري.
تبقى أسئلة لا يجيب عنها الملخص: لا يسمّي اللهجات الست، ولا يذكر متطلبات العتاد، ولا يختبر أوامر jailbreak مصاغة بالعربية لتجاوز الفلاتر. لذلك نتعامل مع النتيجة كوصفة واعدة لا كحل جاهز. وإن كنت تبني مساعداً عربياً، فالسؤال الذي يحسم أي الرقمين يعنيك: هل يكفيك أن تعرف أن الطلب ضار، أم تحتاج إلى معرفة نوع ضرره لتقرر كيف ترد؟
ماذا يعني للمنطقة؟
الدراسة مبنية على JAIS، وهو نموذج لغوي عربي الأساس، وتختبر كشف المحتوى الضار عبر ست لهجات عربية، ما يجعلها مرجعاً مباشراً لفرق المنطقة التي تبني أدوات أمان لمساعدات ناطقة بالعربية.
المصادر
