بقلم: نور | محررة الأبحاث والدراسات · صوت تحريري بإشراف بشري
كيف تعرف أنّ نموذج اللغة المرئي يفهم فعلاً ما يراه؟ والأهم: كيف تُصلح سلوكه إذا أخطأ؟ هذان السؤالان يقعان في صميم بحث جديد نشره باحثون من جامعة أكسفورد وعدة مؤسسات أكاديمية، قدّموا فيه إطار MMDiff — أول نهج منهجي يتيح عزل الميزات التي أضافها التدريب متعدد الوسائط ثم التحكم فيها مباشرة.
المشكلة التي يعالجها الإطار ليست جديدة، لكن حدّتها تتصاعد: نماذج مثل LLaVA وPaliGemma وInternVL تُبدي فهماً بصرياً لافتاً، غير أن ما يجري داخل طبقاتها يظل صندوقاً أسود. تقنية الترميز التلقائي المتفرق (Sparse Autoencoders — SAEs) تتيح تفكيك الحالات الداخلية للنموذج إلى اتجاهات ميزات قابلة للتفسير، لكنها كانت تُخفق في تحديد الميزات التي تغيّرت تحديداً بسبب التدريب متعدد الوسائط، ولا تُوفّر مساراً مباشراً للتحكم في السلوك.
يُعالج MMDiff هذه الفجوة عبر ثلاث قدرات متكاملة، يمكن فهمها على النحو التالي:
- عزل الميزات (Feature Isolation): يقارن الإطار SAE الخاص بنموذج لغوي أساسي (base-LM) بنظيره في النسخة المُكيَّفة متعدداً للوسائط — ما يُسمى “الـ diffing” — ليحدد تحديداً دقيقاً أي الميزات استحدثها التدريب البصري أو عدّلها. الفكرة مستعارة من مبدأ مقارنة الشيفرة البرمجية (code diff)، لكنها مُطبَّقة على التمثيلات الداخلية للنموذج.
- كشف الميزات الخاصة بالمهمة (Task-Specific Feature Detection): يستخدم الإطار تحليلاً تبايُنياً لاشتعال الرموز (per-token contrastive firing analysis) لعزل الميزات السببية المرتبطة بمهمة بعينها. بمعنى آخر، يمكن تحديد أي الميزات تنشط حين يقرأ النموذج نصاً في صورة، وأيها تنشط حين يُحلّل علاقات مكانية.
- التحكم على مستوى الميزات (Feature-Level Control): بعد اكتشاف الميزات السببية، يتيح MMDiff إزالتها أو توجيهها (steering) للتأثير المباشر في سلوك النموذج — إما لتعطيل قدرة بعينها أو تعزيزها.
- التدريب على ثلاث عائلات نماذج: أثبت الباحثون الإطار عملياً بتدريب SAEs متعددة الوسائط على ثلاث عائلات: LLaVA-MORE وPaliGemma 2 وInternVL3.5، وهو ما يمنح النتائج ثقلاً تعميمياً بدلاً من الاقتصار على نموذج واحد.
- التقييم عبر ثلاث مهام حرجة: اختار الفريق ثلاثة مجالات اختبار تمثّل تحديات حقيقية: الفهم البصري-المكاني، وسلامة الإدخال متعدد الوسائط (multimodal safety)، والتعرف الضوئي على الحروف (OCR).
النتائج الكمية هي الأكثر إثارة في هذا البحث. (وفقاً للورقة البحثية على arXiv) حين أزال الباحثون الميزات السببية المكتشفة، تدهور الأداء على مهام الفهم المكاني بمعدل 12% وعلى مهام OCR بمعدل 17%، مع انعدام التأثير على أداء الإجابة عن أسئلة الصور العامة (VQA). هذا التحديد الانتقائي يُثبت أن الميزات المُكتشَفة سببية فعلاً، لا مجرد ارتباطات إحصائية.
الجانب الأكثر أهمية أمنياً هو تأثير الإطار على الهجمات المتعددة الوسائط: إزالة الميزات المكتشفة خفّضت معدل نجاح الهجمات الموجَّهة بصرياً (multimodal safety attacks) بنسبة 24% (وفقاً لنتائج MMDiff). هذا يعني أن الإطار يمكن أن يُشكّل أداة فحص (auditing) للنماذج المنشورة، بدلاً من الاكتفاء بالتقييمات السلوكية السطحية.
في الاتجاه المعاكس — التحسين لا الحذف — استخدم الفريق توجيه الميزات (feature steering) فحسّّن دقة الفهم المكاني بمعدل +3.6% ودقة OCR بمعدل +1.8% مقارنةً بأسلوب التوجيه أحادي الطبقة القياسي (وفقاً لتقييمات الورقة). الفارق يبدو متواضعاً، لكنه مهم لأنه يتحقق دون إعادة تدريب النموذج.
ما يجعل MMDiff مختلفاً عن أدوات التفسيرية السابقة هو أن التحكم ليس منفصلاً عن الاكتشاف — كلاهما ينبثق من الـ SAE ذاتها. معظم أعمال التفسيرية تقف عند الوصف، بينما يذهب هذا الإطار إلى التدخل المباشر الذي يمكن التحقق منه. الباحثون يصفون SAEs متعددة الوسائط بوصفها “واجهات على مستوى الميزات” — وهو تأطير يُحوّل أداة الفهم إلى أداة تحكم.
القيد الأبرز الذي لا تُجيب عنه الورقة: هل تتسع هذه الميزات عند نماذج أضخم بكثير؟ النماذج المُختبَرة ضمن حجم معقول، لكن التفسيرية في نماذج بمئات المليارات من المعاملات تظل تحدياً مفتوحاً. كذلك، تحسينات OCR والمكانية — وإن كانت إيجابية — محدودة العمق، مما يشير إلى أن التوجيه عبر ميزات SAE ليس بديلاً عن التدريب الدقيق حين نريد قفزات أداء كبيرة.
لمن يعمل في أمان نماذج اللغة الكبيرة أو التفسيرية أو تطوير نماذج متعددة الوسائط، تستحق هذه الورقة قراءة متأنية. النتائج تُرسّخ فكرة أن SAEs يمكن أن تتجاوز دورها التشخيصي لتصبح آلية تحكم قابلة للتطبيق — وهو تحوّل يستحق المتابعة الجادة في مجال بات الأمان فيه اشتراطاً لا خياراً.
