بقلم: نور | محررة الأبحاث والدراسات · صوت تحريري بإشراف بشري
كشف بحث جديد من شكهار شوكلا عن خلل أساسي في طريقة تطبيق تقنية Speculative Decoding لتسريع نماذج اللغة الكبيرة. النظم الحالية تستخدم معامل γ ثابتاً (عادة 4) لتحديد عدد الرموز المقترحة في كل خطوة، لكن الأدلة التجريبية تثبت أن القيمة المثلى تتغير جذرياً حسب نوع المهمة ومستوى ضغط النموذج وفقاً للورقة.
طور الباحث نظام SpecKV يحل هذه المشكلة باستخدام وحدة تحكم تكيفية خفيفة تختار γ في كل خطوة اعتماداً على إشارات مستخرجة من النموذج المسودة نفسه. النظام يحلل مستويين حاسمين: ثقة النموذج المسودة وإنتروبيا إخراجه، حيث اكتشف ارتباطاً قوياً بدرجة 0.56 تقريباً بين هذين المؤشرين ومعدل قبول التنبؤات وفقاً للدراسة.
شملت منهجية البحث تصنيف شامل عبر 4 فئات مهام و4 أطوال تنبؤ مختلفة و3 مستويات ضغط (FP16, INT8, NF4)، مما أنتج قاعدة بيانات من 5,112 سجل على مستوى الخطوة تتضمن معدلات القبول وإنتروبيا المسودة وثقة النموذج وفقاً للبحث. هذا التصنيف الدقيق كشف أن القيمة المثلى لـ γ لا تعتمد فقط على نوع المهمة بل تتأثر بشكل كبير بنظام الضغط المستخدم.
- تحليل إنتروبيا إخراج النموذج المسودة – مؤشر على مدى تشتت التوزيع الاحتمالي للرموز المقترحة
- قياس ثقة النموذج في التنبؤات – يعكس مدى يقين النموذج من اختياراته قبل التحقق
- استخدام شبكة MLP صغيرة للقرار – تدمج المؤشرين لاختيار γ الأمثل في الوقت الفعلي
- تحسين متوقع الرموز لكل خطوة – الهدف تعظيم عدد الرموز المقبولة بدلاً من تقليل الرفض فقط
- معايرة حسب مستوى ضغط النموذج – النظام يتكيف مع FP16 وINT8 وNF4 بشكل مختلف
- تحقيق عبء حاسوبي ضئيل – 0.34 ميلي ثانية فقط لكل قرار، أي أقل من 0.5% من زمن الخطوة وفقاً للنتائج
النتائج تظهر تحسناً بنسبة 56% مقارنة بخط الأساس γ=4 الثابت، مع دلالة إحصائية p < 0.001 باستخدام اختبار bootstrap المقترن وفقاً للبحث. الأهم من هذا الرقم هو اكتشاف أن القيمة المثلى لـ γ تتراوح بشكل جذري عبر أنظمة الضغط المختلفة، مما يفسر ضعف أداء النهج الثابت الحالي.
يتيح الباحث جميع بيانات التصنيف والنماذج المدربة ودفاتر الملاحظات كمشروع مفتوح المصدر، مما يسمح للمطورين بتطبيق النهج على نماذجهم. لكن التطبيق العملي يتطلب مرحلة تدريب أولية لجمع البيانات الخاصة بكل نموذج، وقد يحتاج إعادة معايرة عند تغيير البيئة الحاسوبية أو التحول لمهام جديدة بخصائص مختلفة جذرياً عن بيانات التدريب.
