
10 مليارات رمز هندي من ميزانية 100 مليار رفعت نتائج Nemotron بين 4.98 و9.82 نقطة، والآن تُفتح الوصفة الكاملة للمطورين.
ضمن ملف: إنفيديا، نماذج الذكاء الاصطناعي
بقلم: سارة | محررة نماذج الذكاء الاصطناعي · صوت تحريري بإشراف بشري
المصدر الأساسي: NVIDIA Blog on Hugging Face
لماذا يهم
يحصل مطورو النماذج للغات الهند على مدونة ضخمة ووصفة قابلة لإعادة الإنتاج بدل جمع البيانات من الصفر، ويحصل الباحثون في اللغات قليلة الموارد على منهجية موثقة للترجمة والتقييم والإصلاح يمكن نقلها إلى لغاتهم.
أعلنت NVIDIA بالشراكة مع معهد IIT Madras ومختبره AI4Bharat عن مجموعة بيانات Nemotron-pretraining-Indic-v1. تضم المجموعة نحو 2.8 تريليون رمز (token) في 22 لغة هندية (وفقاً لـ NVIDIA على Hugging Face). وتعتزم الشركة نشر خط توليد البيانات المفتوح الذي أنتجها، وهو يعمل بتسريع GPU. لكن المجموعة لم تُطرح بعد، فالشركة تقول إنها “ستصدر قريباً” ولم تحدد موعداً. كل ما يلي يعتمد على مصدر وحيد هو مدونة NVIDIA نفسها، والأرقام كلها أرقام معلنة من الشركة نفسها لم يتسنَّ التحقق منها بشكل مستقل حتى الآن.
اللغات المختارة هي الاثنتان والعشرون المدرجة في دستور الهند. وهي اللغة الأولى لـ97% من الهنود، أي قرابة 1.2 مليار مواطن بحسب تعداد 2011 (وفقاً لـ NVIDIA). ويختصر Mitesh Khapra، رئيس AI4Bharat والمدرج في قائمة TIME100 AI لعام 2025، المشكلة في جملة واحدة: تقنيات اللغات الهندية متأخرة عن الإنجليزية لأنه “ليس لدينا ما يكفي من البيانات للغات الهندية”. هذا الاقتباس منقول بحسب مدونة NVIDIA. ويبني الإصدار على عمل سابق للمختبر، أبرزه مدونة Sangraha المفتوحة للتدريب المسبق في اللغات الاثنتين والعشرين نفسها.
الفكرة التقنية هنا ليست جمع نصوص هندية من الويب. الفريق يأخذ محتوى إنجليزياً منتقى بعناية، من رياضيات وبرمجة وأسئلة وأجوبة ونصوص ويب، ثم يحوّله إلى اللغات الهندية عبر ترجمة على مستوى المستند كاملاً. بعد ذلك يقيّم جودة كل ترجمة ويصلح الضعيف منها. وبحسب NVIDIA، يحتفظ كل سجل بمعرّف وثيقته الإنجليزية الأصلية، ويُفحص كل ناتج مقابل مدخله. الهدف أن يبقى النص الاصطناعي مرتبطاً بمعلومات حقيقية، وأن يستطيع أي طرف تدقيق مصدره. وتقرّ الشركة بأن هذه البيانات تكمّل النص الهندي المكتوب أصلاً بأيدي متحدثيه ولا تغني عنه، لأن المعرفة المحلية والسياق الثقافي لا يأتيان من الترجمة.

تتوزع المدونة إلى 2,601.0 مليار رمز بالخط الأصلي و224.6 مليار رمز بالكتابة اللاتينية، وقد حُسبت هذه الأرقام بمُرمِّز Gemma-4 (وفقاً لـ NVIDIA). وتشمل البيانات الخط الأصلي للغات الـ22 كلها، والكتابة اللاتينية لـ12 منها، فيصل المجموع إلى 34 تركيبة لغة وخط (وفقاً لـ NVIDIA). اللغات الاثنتا عشرة ذات الخطين هي البنغالية والغوجاراتية والهندية والكانادية والمالايالامية والماراثية والنيبالية والأوديا والبنجابية والتاميلية والتيلوغوية والأردية. أما اللغات العشر الباقية فتأتي بخطها الأصلي فقط، وهي الآسامية والبودو والدوغري والكشميرية والكونكانية والمايثيلية والمانيبورية والسنسكريتية والسانتالية والسندية.
هناك تنبيهان في المنهجية يستحقان الانتباه. الأول أن “الخط الأصلي” يصف نظام الكتابة فقط، فالنص في الحالتين مترجم من الإنجليزية. و”الكتابة اللاتينية” تعني لغة هندية مكتوبة بحروف لاتينية، وليست ترجمة إنجليزية. الثاني أن عدد السجلات يشمل ترجمات ونسخاً بخطوط مختلفة لنفس المصدر، فهو لا يعكس عدد الوثائق الإنجليزية الفريدة. وأرقام الرموز تصف المدونة المحتفَظ بها، لا ميزانية تدريب نموذج بعينه، وهي تتغير بتغير المُرمِّز. ستحتاج إلى هذا التمييز إن كنت تبني خليطاً تدريبياً، لأن السجل الأصلي والسجل اللاتيني قد يحملان المضمون نفسه بخطين مختلفين.
بُني خط الإنتاج على NeMo Data Designer، وهو إطار NVIDIA مفتوح المصدر لتوليد البيانات الاصطناعية. وتمر لغات المجموعة الأولى (12 لغة) بالمراحل التالية بحسب NVIDIA:
- اختيار المصدر: تبدأ العملية من وثائق 15 مجموعة فرعية من Nemotron-CC-v2 (وفقاً لـ NVIDIA)، تغطي نصوص الويب والأسئلة والأجوبة والرياضيات والبرمجة ومحتوى متخصصاً آخر. ويُحفظ معرّف المصدر طوال الرحلة.
- الترجمة على مستوى المستند: تُترجم الوثيقة كاملة بنموذج Gemma-4-31B-it، حتى يستفيد النموذج من السياق الممتد عبر الفقرات والجداول والمعادلات. اختير هذا النموذج بعد مقارنة عدة نماذج على وثائق كاملة من حيث جودة الترجمة والحفاظ على المحتوى التقني. والتعليمات تفصل بين النثر الذي يُترجم والعناصر التي يجب أن تبقى كما هي، مثل الكود والمعادلات والروابط والتنسيق.
- تقييم الجودة: يقيّم النموذج نفسه كل ترجمة مقابل أصلها الإنجليزي، وفق معيار مستوحى من إطار MQM المفتوح لتصنيف أخطاء الترجمة بحسب النوع والخطورة. يغطي المعيار المعنى والسلاسة والمصطلحات والأسلوب والتنسيق. ولا يُقبل إلا ما يحصل على 75 من 100 على الأقل (وفقاً لـ NVIDIA)، وهي درجة على المعيار وليست نسبة دقة.
- الإصلاح الموجَّه: تُستخدم ملاحظات التقييم لإصلاح المخرجات الأقل من العتبة، ثم يُعاد تقييمها بالمعيار نفسه. استعادت هذه المرحلة 438.4 مليار رمز في الخطين الأصلي واللاتيني، وهي داخلة في المجموع الكلي (وفقاً لـ NVIDIA). واستعان الفريق بمراجعات بشرية على عينات واختبارات أُدخلت فيها أخطاء عمداً، فكشفت حالات حذف وبقايا إنجليزية، واستُفيد منها في تحسين التعليمات والفحوص.
- التحويل إلى الكتابة اللاتينية: تُحوَّل مجموعة فرعية من الترجمات المقبولة إلى حروف لاتينية، ويُفحص كل ناتج مقابل نسخته الأصلية. فصل الترجمة عن تحويل الخط أعطى إضافات مختلَقة أقل وبقايا إنجليزية أقل، مقارنة بتوليد النص اللاتيني مباشرة من الإنجليزية، بحسب مقارنة بشرية أولية أجراها الفريق.
اللغات العشر الأخرى سلكت مساراً مختلفاً، بعد أن ظهرت في المقارنات مشكلات في جودة الوثائق الطويلة وثبات الخط. استُخدم فيها نموذج Indic Translate من Bodhan AI، وهو مركز غير ربحي للذكاء الاصطناعي في التعليم احتضنه IIT Madras، والنموذج يترجم على مستوى المستند بين الإنجليزية و22 لغة هندية. ثم يتولى Gemma-4-31B-it تقييم كل ترجمة. حافظت ثماني لغات على نهج المستند الكامل. أما السانتالية فتُترجم وثائقها الطويلة على نوافذ متداخلة ثم يُعاد تركيب المستند. وتُترجم المانيبورية أولاً إلى الخط البنغالي ثم تُحوَّل إلى خطها الأصلي Meitei Mayek. تطبق هذه المسارات العتبة نفسها، 75 من 100، لكنها تنتج بيانات بالخط الأصلي فقط ولا تتضمن إعادة كتابة مبنية على الملاحظات (وفقاً لـ NVIDIA).

هل تنجح هذه البيانات فعلاً؟ الدليل الوحيد المتاح يأتي من نموذج NVIDIA نفسه. أضافت مرحلة التدريب المستمر (CPT) لنموذج Nemotron 3.5 Super VL نحو 10 مليارات رمز هندي، أي 10% من ميزانية تدريب قدرها 100 مليار رمز (وفقاً لـ NVIDIA). جاءت هذه الرموز من مجموعة فرعية من 12 لغة في المدونة، مخلوطة بنصوص هندية طبيعية. وحافظت نسبة الـ90% الباقية على النسب النسبية لخليط التدريب السابق. ارتفعت الدرجات في الاختبارات الخمسة المعلنة للمعرفة والاستدلال: MILU وIndic MMLU-Pro وIndic ARC-Challenge وIndic ARC-Easy وIndic GSM8K. وتراوحت المكاسب بين 4.98 و9.82 نقطة مئوية (وفقاً لـ NVIDIA، الجدول 2 في التقرير التقني للنموذج). واستُبعدت الأوديا من GSM8K لأن التقييم تجاوز حد السياق في بيئة التشغيل.
لا ينبغي قراءة هذه الأرقام أكثر مما تحتمل، والشركة نفسها تنبّه إلى ذلك. المقارنة بين نقطتي حفظ قبل مرحلة تدريب واحدة وبعدها، وليست بين نسختين نهائيتين من النموذج. وهي لا تعزل مساهمة البيانات الاصطناعية عن الطبيعية، وتغطية اللغات تختلف من اختبار لآخر. ويدرس تقرير هندي مرافق خلطات المصادر وحجم مجمّع البيانات الاصطناعية وتغطية الخطوط، لكنه اعتمد على البيانات المقبولة من المرور الأول فقط لمجموعة الاثنتي عشرة لغة. تقييم المدونة الكاملة، بما فيها المخرجات المُصلَحة واللغات العشر الأخرى، لا يزال خطوة مقبلة بحسب NVIDIA.
على مستوى النموذج المنشور، الذي مر بخط التدريب كاملاً بما فيه ما بعد التدريب (post-training)، تقارن NVIDIA بين Nemotron 3.5 Super VL وسابقه Nemotron 3 Super. يتفوق الجديد في 5 من 6 اختبارات مهام تشمل المعرفة والاستدلال والرياضيات والبرمجة والترجمة (وفقاً لـ NVIDIA). وتُقاس الترجمة في WMT24++ بنقاط chrF لا بنقاط مئوية. الاستثناء هو اتباع التعليمات في IFEval 1.5، حيث تراجع الأداء 2.04 نقطة (وفقاً لـ NVIDIA). وتحسن النموذج في الأبعاد الأربعة لاختبار IndiVibe المفتوح من Sarvam AI، المكوّن من تعليمات بأسلوب المساعدات باللغات الهندية، وهي: الفائدة، والسلاسة، والالتزام باللغة والخط، والإسهاب المناسب. لكن الشركة تصف هذه النتائج بأنها درجات تفضيل شرطية أولية، وليست نسب فوز مباشرة.
عملياً، تنصح NVIDIA ببدء الاستخدام من اللغات والخطوط التي يحتاجها نموذجك، ثم فحص عينة ومراجعة بطاقة البيانات والترخيص قبل التدريب. التركيبات مُعنونة بوسوم اللغة والخط والمنطقة: hi-Deva-IN مثلاً تعني الهندية بخط الديفاناغاري، وhi-Latn-IN تعني الهندية بحروف لاتينية. ويعرض المثال المنشور طريقة تحميلها عبر مكتبة datasets بالبث المتدفق (streaming) لاستعراض عينة قبل تنزيل الحجم الكامل. ولا يتضمن المصدر حتى الآن معرّف المستودع النهائي، فالمثال نفسه يطلب إدخاله من بطاقة البيانات.
تقديرنا أن القيمة الأكبر في هذا الإصدار ليست الرقم 2.8 تريليون، بل الوصفة المفتوحة: التعليمات وتدفقات العمل والفحوص التي تسمح لك بإدخال وثائقك الخاصة وإعادة إنتاج العملية. فصل الترجمة عن تحويل الخط، والتعامل الخاص مع لغة مثل السانتالية، تفاصيل هندسية يمكن نقلها إلى أي لغة قليلة الموارد. والكتابة اللاتينية للهندية تشبه كثيراً ما يسميه العرب “العربيزي”. لكن الطريقة لها حدودها. فهي لا تناسبك إن كان هدفك معرفة محلية أو ثقافية، لأن المضمون في الأصل إنجليزي مترجم. والاعتماد على نموذج واحد للترجمة والتقييم معاً في المجموعة الأولى يفتح باب التحيز الذاتي، ولم تعالجه NVIDIA إلا بمراجعات بشرية على عينات. ومن يتابع نماذج مثل Jais 3 سيرى أن الطريقين متكاملان، لا متنافسان: نص أصلي لبناء الهوية اللغوية، وبيانات مترجمة لسد فجوة الرياضيات والبرمجة.
المصادر







