اختيار الدالة شبه محسوم عند 0.9982، لكن مطابقة المعاملات تتوقف عند 0.8920، وفجوة اللهجات تنكمش إلى 0.077 بنموذج من 7 مليارات معامل.
ضمن ملف: نماذج الذكاء الاصطناعي، سدايا والذكاء الاصطناعي في السعودية
بقلم: نور | محررة الأبحاث والدراسات · صوت تحريري بإشراف بشري
المصدر الأساسي: ArXiv
لماذا يهم
مطورو الوكلاء والمساعدات العربية المرتبطة بواجهات API معنيون مباشرة، إذ تنقل الورقة تركيز الاختبار والتحقق من اختيار الأداة إلى صحة قيم المعاملات.
تصدّر فريق QMUL_AK قائمة من 21 فريقاً في اختبار متانة اللهجات ضمن مسابقة AISA-ArabicFC 2026 لاستدعاء الدوال بالعربية، وسجّل أصغر فجوة بين اللهجات في المسابقة كلها، وقدرها 0.077 (وفقاً لـ arXiv). والمحرّك وراء هذه النتيجة ليس نموذجاً عملاقاً. إنه ALLaM-7B-Instruct، النموذج العربي الإنجليزي ذو السبعة مليارات معامل (وفقاً لـ arXiv)، بعد تكييفه بتقنية LoRA.
القصة كلها تستند إلى مصدر وحيد هو الورقة المنشورة على arXiv للباحثين علي خيرالله وأركايتز زوبياغا في 27 أكتوبر 2026 (وفقاً لـ arXiv). والورقة مدرجة في وقائع المؤتمر الرابع لمعالجة اللغة العربية الطبيعية، قسم المسابقات المشتركة، في الصفحات 1580 إلى 1584 (وفقاً لـ arXiv). الأرقام الواردة هنا أرقام معلنة من الفريق نفسه، ولم يتسنَّ التحقق من ترتيب الفرق بشكل مستقل عبر لوحة نتائج المسابقة.
بحسب الورقة، لم يُدرَّب النموذج من الصفر. اعتمد الفريق على LoRA، وهو أسلوب fine-tuning منخفض الرتبة يعدّل جزءاً صغيراً من الأوزان، وبنى حوله أربع طبقات: موجّه (prompt) عربي يعي مخطط الأدوات ويعرض على النموذج الدوال المرشحة ومعاملاتها، وإعادة أخذ عينات تركّز على اللهجات وعلى الحالات التي لا تتطلب أي استدعاء (no-call) كي يتعلم النموذج متى يمتنع، ودالة هدف موزونة على مستوى الرموز (token-weighted)، ثم تحقق حتمي من كل استدعاء يولّده النموذج بمطابقته مع مخطط الأداة المرشحة. وبحسب الورقة أيضاً، اقتصر التدريب على بيانات المسابقة الرسمية وحدها، ويخدم المخرج نفسه مسارين: المسار A لاستدعاء الدوال المباشر، والمسار B للاستدعاء المعزز بالاستدلال.
على مجموعة التطوير، بلغت دقة اختيار الدالة 0.9982 (وفقاً لـ arXiv)، بينما توقفت المطابقة التامة للمعاملات (argument exact match) عند 0.8920 (وفقاً لـ arXiv)، وهو ما يعني نحو استدعاء خاطئ في قيمة معامل واحد على الأقل من كل تسعة. وجاءت الدرجة الإجمالية 0.9345 في المسار A و0.9454 في المسار B (وفقاً لـ arXiv). أما على مجموعة الاختبار العمياء، فتراجعت الدرجتان قليلاً إلى 0.9253 و0.9380 على التوالي (وفقاً لـ arXiv)، ليحلّ الفريق في المركز الثالث في المسارين (وفقاً لـ arXiv). وفي المسار C، وهو اختبار تشخيصي لمتانة النماذج أمام اللهجات، بلغت الدرجة المتوسطة الكلية (macro-averaged) 0.9075 (وفقاً لـ arXiv). لا يذكر الملخص عدد الفرق في المسارين A وB، ولا اللهجات المشمولة، ولا إعدادات LoRA أو حجم بيانات المسابقة.
ما الذي يعنيه ذلك لمن يبني وكلاء عرباً اليوم؟ نقرأ في الأرقام ثلاث دلالات:
- اختيار الأداة لم يعد المشكلة. الورقة نفسها تصف هذا الجانب بأنه شبه مشبع، والفارق بين 0.9982 و0.8920 (وفقاً لـ arXiv) يحدد أين يجب أن يذهب جهد التحسين القادم: استخراج المعاملات، الذي تقرّ الورقة بأنه المصدر الرئيسي للخطأ.
- أخطاء المعاملات أخطر من أخطاء الأداة لأنها صامتة. إن كنت تبني وكيلاً يحجز موعداً أو يستعلم عن فاتورة، فالنموذج سيستدعي الـ API الصحيح غالباً، لكنه قد يمرّر تاريخاً أو مبلغاً أو اسم مدينة خاطئاً دون أن يلاحظ أحد. لهذا نرى في موجز أن طبقة التحقق الحتمي من المخطط هي أكثر أفكار الورقة قابلية للنقل إلى الإنتاج، فهي لا تتطلب نموذجاً أكبر.
- متانة اللهجات قابلة للهندسة. الجمع بين إعادة أخذ العينات اللهجية وبيانات رسمية محدودة أوصل إلى أصغر فجوة لهجات بين المشاركين، 0.077 (وفقاً لـ arXiv)، ما يشير إلى أن الطريق نحو وكيل يفهم المستخدم الخليجي والمصري والمغاربي قد يمر عبر تصميم بيانات التدريب قبل حجم النموذج.
يبقى سؤال لا تجيب عنه الورقة: كم من أخطاء المعاملات المتبقية سببه اللهجة نفسها، وكم سببه غموض صياغة الطلب؟ إلى أن يُنشر تفصيل الأخطاء، تظل النتيجة الأوضح أن نموذجاً متوسط الحجم، مكيّفاً بعناية، نافس على المراكز الأولى، وأن المعركة التالية في الوكلاء العرب تدور حول قيمة المعامل، لا اسم الدالة.
ماذا يعني للمنطقة؟
الدراسة مبنية على نموذج ALLaM العربي الإنجليزي وتقيس متانته أمام اللهجات العربية، ما يجعلها مرجعاً عملياً لمن يبني وكلاء يخدمون مستخدمين بلهجات المنطقة المختلفة.
