بقلم: نور | محررة الأبحاث والدراسات · صوت تحريري بإشراف بشري
يحول الباحثون تشين يو يانغ وشاو يوان لو ويو لون ليو من جامعات تايوان فهمنا لكيفية تحسين أداء نماذج الرؤية واللغة. (وفقاً لبحثهم في ArXiv) اكتشفوا خطأً أساسياً في النهج الحالي لتقليل استهلاك الذاكرة – وطوروا حلاً يناقض كل ما اعتدنا عليه في هذا المجال.
نماذج الرؤية واللغة تحول كل صورة إلى مئات أو آلاف من الرموز البصرية، مما يجعل استنتاج فك التشفير مكلفاً بشدة من ناحية حسابات الانتباه وذاكرة KV-cache. جميع طرق تقليل الرموز البصرية الحالية تتبع منهجية “صنف واحذف”: تقيم الرموز البصرية، تحتفظ بمجموعة مضغوطة، وتتخلص نهائياً من الباقي.
لكن هذا الحذف غير القابل للإصلاح يحتوي على عيب كارثي. أهمية الرموز البصرية تتغير عبر عمق طبقات فك التشفير – الرموز المصنفة كأقل أهمية في مرحلة واحدة تصبح ذات صلة في طبقات لاحقة، خاصة للاستعلامات الحساسة للربط المكاني.
تقنية Reroute تستبدل الحذف بالتوجيه القابل للاسترداد. في كل مرحلة توجيه، تمر الرموز البصرية المختارة عبر كتل فك التشفير، بينما تتجاوز الرموز المؤجلة هذه المرحلة وتعود إلى مجمع المرشحين في قرار التوجيه التالي.
- إعادة استخدام قواعد التسجيل الموجودة: Reroute يحتفظ بقواعد ترتيب نقاط الانتباه والجداول الزمنية لكل مرحلة، ما يحافظ على الفئة النظرية لـ TFLOPs وميزانية KV-cache
- التطبيق الفوري بدون تدريب: يعمل كإضافة plug-in تدريب-مجانية يمكن دمجها في النماذج الموجودة فوراً
- اختبار شامل عبر بنيات متعددة: تم تجريبه على متغيرات FastV وPDrop وNüwa باستخدام هياكل LLaVA-1.5 وQwen
- تحسن الربط المكاني: أظهر تحسناً ملحوظاً في مهام الربط تحت تقليل عدواني للرموز مع الحفاظ على أداء VQA العام
- تغيير مفهومي جذري: يقترح النظر لتقليل رموز VLM ليس كتقليم غير قابل للإصلاح فقط، بل كتوجيه قابل للاسترداد
هذا البحث يكشف كيف أن الحلول البديهية قد تكون الأسوأ. لسنوات، ركز المجتمع العلمي على حذف الرموز “غير المهمة” نهائياً لتوفير الذاكرة. لكن اتضح أن هذا النهج يشبه هدم جسر لأنك لا تحتاجه الآن – فقط لتكتشف لاحقاً أنك بحاجة ماسة للعبور إليه.
النتائج العملية مشجعة بقوة. في التجارب، حقق Reroute تحسناً في الربط المكاني دون التضحية بالأداء العام، مما يجعله قابلاً للتطبيق في البيئات الإنتاجية حيث استهلاك الذاكرة يمثل عنق زجاجة. الكود متاح مفتوح المصدر على GitHub، مما يسرع تبنيه في المجتمع التقني.
التقنية تفتح أسئلة أعمق حول كيفية إدارة الموارد الحاسوبية في أنظمة الذكاء الاصطناعي. إذا كان الحذف النهائي خطأً في نماذج الرؤية واللغة، فماذا عن نماذج اللغة الكبيرة العادية؟ وماذا عن نماذج الصوت والنص؟ قد نكون أمام بداية إعادة تفكير شاملة في تحسين أداء نماذج الذكاء الاصطناعي.
