مليار رمز من الويب العربي الخام لم يحسّن النموذج، والميزانية نفسها من بيانات منقّاة أضافت 3.51 نقطة، بحسب الورقة.
ضمن ملف: نماذج الذكاء الاصطناعي، الذكاء الاصطناعي في الخليج
بقلم: نور | محررة الأبحاث والدراسات · صوت تحريري بإشراف بشري
المصدر الأساسي: ArXiv
لماذا يهم
الفرق الصغيرة والشركات الناشئة التي تكيّف نماذج مفتوحة للعربية قد تحتاج قرابة نصف ساعات الحوسبة، شرط أن تنفق على تنقية البيانات قبل التوسع في جمعها.
تدريب نموذج لغوي متعدد اللغات على مليار رمز من نصوص الويب العربية الخام لم يضف إليه أي تحسن. الميزانية نفسها من بيانات فصحى منقّاة رفعت متوسط أربعة اختبارات عربية بمقدار 3.51 نقطة (وفقاً لـ arXiv). هذه المقارنة جزء من ورقة AQL-Lite التي نشرها حسام الدين بوخالفة ومراد بواش ومراد دحمان على arXiv في 21 أكتوبر 2026. القصة تقوم على مصدر وحيد هو الورقة البحثية نفسها. وهي نسخة أولية (preprint) لم تمر بمراجعة الأقران، ولم يتسنَّ التحقق من نتائجها بشكل مستقل. لذلك نعامل كل الأرقام هنا كما نعامل أي أرقام معلنة من الشركة نفسها: هي أرقام معلنة من الباحثين أنفسهم.
يحدد الباحثون ثلاث عقبات أمام النماذج العربية: بيانات الويب المليئة بالضجيج، والتداخل بين اللهجات، والكلفة المرتفعة للتدريب المسبق المستمر (Continual Pretraining أو CPT)، أي مواصلة تدريب نموذج جاهز على بيانات لغة محددة. اسم AQL اختصار لـ Arabic Quality Language. ويقوم الإطار على مسارين متلازمين بحسب الورقة. المسار الأول خط تنقية يضع الجودة أولاً، ويشمل تنظيفاً بنيوياً للنصوص، ثم ترشيحاً بقواعد استدلالية (heuristic) وبنماذج مدرّبة، ثم انتقاء نصوص الفصحى وحدها، ثم إزالة التكرار. المسار الثاني وصفة تدريب جزئي للمعاملات. تُدرَّب فيها محوّلات RS-LoRA موزعة على كامل الشبكة. ويُفك التجميد معها عن آخر ثماني كتل transformer وعن مصفوفة التضمين (embedding)، مع معدل تعلّم مختلف لكل طبقة (وفقاً لـ arXiv).
السؤال الذي تجيب عنه الورقة هو كم تخسر حين لا تدرّب كل المعاملات. في مقارنة مضبوطة بميزانية 5 مليارات رمز، سجّل AQL-Lite متوسطاً قدره 73.19 مقابل 73.58 للتدريب الكامل لكل المعاملات (وفقاً لـ arXiv). يقول الباحثون إن هذا يعادل استعادة 94% من مكاسب التدريب الكامل في 52% من الوقت الفعلي (wall-clock) (وفقاً لـ arXiv). وتفوّق الإطار أيضاً على خطوط الأساس التي تكتفي بالمحوّلات وحدها، وذلك في كل اختبار دون استثناء بحسب الورقة. أما تجربة الحذف التدريجي (ablation) فأظهرت أن كلاً من المحوّلات والكتل المفكوكة التجميد وتدريب مصفوفة التضمين يسهم في النتيجة. أي أن الوصفة لا تقوم على مكوّن واحد تتبعه مكوّنات شكلية.
بعد ذلك وسّع الفريق التجربة إلى 40 مليار رمز من الفصحى، ثم أجرى ضبطاً للتعليمات (instruction tuning) على مليون مثال. النموذج الناتج بحجم 12B معامل سجّل 75.3 على مجموعة Open Arabic LLM Leaderboard v2 (OALL v2) المكوّنة من سبعة اختبارات (وفقاً لـ arXiv). يخلص الباحثون إلى أن التدريب الجزئي على مدوّنة منقّاة بعناية “مسار عملي” للتكييف الفعال مع الفصحى. ونرى في هذه الأرقام ثلاث دلالات تتجاوز الورقة نفسها:
- الحجم وحده لم يعد حجة. إذا ثبت أن مليار رمز من الويب العربي الخام لا يحرّك النموذج، فإن جزءاً من الجهد المبذول في جمع البيانات العربية بكميات ضخمة يذهب سدى. والإنفاق على التنقية والانتقاء أجدى من الإنفاق على التوسع العشوائي. هذا تقدير تحريري منا، والورقة لا تقوله بهذه الصياغة.
- كلفة الحوسبة هي الرقم الحاسم. فارق 0.39 نقطة بين 73.19 و73.58 لا يكاد يُلحظ في الاستخدام. أما توفير قرابة نصف الوقت فقد يكون الفارق بين مشروع ممكن وآخر خارج ميزانية فريق صغير في المنطقة. إن كنت تكيّف نموذجاً مفتوحاً لمنتج عربي، فهذه الوصفة تستحق التجربة قبل الذهاب إلى التدريب الكامل.
- الفصحى أولاً، والعامية مؤجلة. ذكرت الورقة التداخل بين اللهجات ضمن التحديات، لكن الإطار تعامل معه بإقصاء اللهجات من البيانات لا بمعالجتها. هذا خيار منهجي مشروع، لكن النموذج الناتج ليس مصمماً لمحتوى المستخدمين اليومي المكتوب بالعامية.
لكن الملخص المنشور يترك فجوات واضحة. فهو لا يسمّي النموذج الأساسي متعدد اللغات الذي بُني عليه العمل. ولا يذكر أسماء الاختبارات الأربعة في مقارنة المليار رمز. ولم يُحدد بعد إن كانت الأوزان أو الشيفرة أو المدوّنة المنقّاة ستُتاح للعموم. ثم إن مقارنة الـ94% أُجريت عند 5 مليارات رمز فقط، ولا نعرف هل تصمد النسبة نفسها عند 40 ملياراً. يأتي هذا العمل في عام شهد إصدارات عربية مفتوحة كبيرة مثل عائلة Jais 3. وقيمته الحقيقية لن تتضح قبل أن يتمكن فريق مستقل من إعادة إنتاج أرقامه. فهل سينشر الباحثون ما يكفي لذلك؟
ماذا يعني للمنطقة؟
الورقة مخصصة لتكييف النماذج مع العربية الفصحى، وتقدم وصفة أقل كلفة قد تمكّن مختبرات المنطقة وشركاتها الناشئة من بناء نماذج عربية محلياً.
المصادر
