بقلم: نور | محررة الأبحاث والدراسات · صوت تحريري بإشراف بشري
تواجه النماذج اللغوية الانتشارية (dLLMs) معضلة حقيقية: تقدم فك تشفير متوازي وسياق ثنائي الاتجاه متقدم، لكنها تحتاج مليارات المعاملات للمنافسة. فريق بحثي من Gongbo Zhang وWen Wang وYe Tian وLi Yuan حل هذه المعضلة بإطار TIDE الذي حقق إنجازاً غير مسبوق: ضغط نموذج 16 مليار معامل إلى 600 مليون فقط مع تحسين الأداء بـ1.53 نقطة عبر ثمانية معايير قياسية (وفقاً لـ arXiv).
TIDE ليس مجرد تقنية ضغط عادية، بل أول إطار عمل للتقطير المتقاطع بين الأنواع المعمارية المختلفة في النماذج اللغوية الانتشارية. الطرق التقليدية تقلص خطوات الاستنتاج داخل نفس البنية، أما TIDE فينقل المعرفة بين نماذج تختلف جذرياً في البنية المعمارية وآليات الانتباه ونظام الرموز المميزة. هذا التحدي التقني الشائك يشبه ترجمة لغة برمجة كاملة إلى أخرى مع الحفاظ على نفس الوظائف.
- TIDAL – التعديل الديناميكي لقوة التقطير عبر تقدم التدريب والطوابع الزمنية للانتشار، مراعياً موثوقية النموذج المعلم التي تتغير حسب مستوى الضوضاء الحالي
- CompDemo – إثراء سياق النموذج المعلم بتقسيم الأقنعة التكميلية، محسناً التنبؤات حتى تحت الإخفاء الكثيف للنصوص
- Reverse CALM – هدف متقاطع للرموز المميزة يعكس مطابقة الاحتمالية على مستوى القطع، منتجاً تدرجات محدودة وتنقية ضوضاء مزدوجة النهاية
- اختبار على خطين متجانسين – تقطير من نماذج معلمة كثيفة 8 مليار معامل ونماذج MoE بـ16 مليار معامل إلى نموذج طالب 600 مليون معامل
- نتائج HumanEval المتفوقة – النموذج المضغوط حقق 48.78 نقطة في اختبار توليد الكود مقارنة بـ32.3 للنموذج الأساسي AR
- تحسن شامل – متوسط 1.53 نقطة عبر ثمانية معايير قياسية مختلفة، مع مكاسب ملحوظة خاصة في مهام البرمجة
التحدي الأكبر في التقطير المتقاطع للأنواع المعمارية يكمن في الطبيعة المتغيرة للنماذج الانتشارية. هذه النماذج تعمل بمستويات ضوضاء متفاوتة أثناء عملية إزالة الضوضاء التدريجي، مما يجعل موثوقية مخرجاتها متقلبة. مكون TIDAL يحل هذا بتعديل قوة التقطير ديناميكياً – عندما تكون الضوضاء عالية والنموذج المعلم أقل موثوقية، يقلل قوة التعلم، وعندما تنخفض الضوضاء ويصبح النموذج أكثر ثقة، يزيد التعلم.
مشكلة الإخفاء الكثيف تمثل تحدياً آخر. عندما يخفي النموذج أجزاء كبيرة من النص أثناء التدريب، تتدهور قدرته على التنبؤ الصحيح. CompDemo يعالج هذا بذكاء: بدلاً من الاعتماد على قناع واحد، يقسم الإخفاء إلى أجزاء تكميلية ويجمع المعلومات من وجهات نظر متعددة، مما يوفر سياقاً أغنى للنموذج الطالب.
أما Reverse CALM فيتعامل مع عدم توافق أنظمة الرموز المميزة. النماذج المختلفة تقسم النص إلى وحدات مختلفة، مما يجعل المقارنة المباشرة مستحيلة. هذا المكون يعكس عملية مطابقة الاحتمالية التقليدية، مما ينتج تدرجات أكثر استقراراً ويمنع انفجار أو اختفاء التدرجات أثناء التدريب.
النتائج العملية مثيرة للاهتمام. في اختبار HumanEval لتوليد الكود، حقق النموذج المضغوط 48.78 نقطة، متفوقاً بوضوح على النموذج الأساسي AR الذي سجل 32.3 فقط. هذا التحسن بنسبة 50% تقريباً في مهمة معقدة مثل البرمجة يشير إلى أن تقنية TIDE لا تحافظ فقط على القدرات، بل تحسنها في بعض المهام.
الآثار التطبيقية واضحة: نموذج بـ600 مليون معامل يمكن نشره على أجهزة محدودة الموارد مع الحفاظ على قدرات متقدمة في الفهم ثنائي الاتجاه وتوليد الكود والمعالجة المتوازية. هذا يفتح الباب لتطبيقات محلية للنماذج الانتشارية في الهواتف الذكية والحواسيب الشخصية دون الحاجة لبنية تحتية سحابية ضخمة.
لكن هذا التقدم يثير أسئلة مهمة حول مستقبل تطوير النماذج. إذا كان بإمكان نموذج صغير تحقيق أداء أفضل من النماذج الضخمة في بعض المهام، فهل نحتاج فعلاً لاستمرار سباق تكبير النماذج؟ ربما تكون الكفاءة والذكاء في التصميم أهم من القوة الخام.
