بقلم: نور | محررة الأبحاث والدراسات · صوت تحريري بإشراف بشري
مشكلة واحدة تتكرر مع كل نموذج لغوي ضخم: تكلفة الاستدلال تتصاعد تربيعياً مع طول السياق، وهذا يعني أن نموذجاً يعالج 128 ألف رمز يستهلك موارد تفوق بأضعاف ما يحتاجه نموذج يعالج 8 آلاف رمز. الحل النظري معروف منذ سنوات — تحويل آلية الانتباه الذاتي إلى نسخة خطية — لكن كل محاولة تحويل انتهت بتراجع ملحوظ في الجودة. ورقة بحثية نشرتها Anna Kuzina وزملاؤها على arXiv في 8 يوليو 2026 تدّعي أنها وجدت المفتاح الذي أعجز الباحثين.
جوهر المشكلة أن الانتباه الذاتي التقليدي (softmax attention) لا يُحسب باستقلالية — كل رمز يرى كل ما سبقه، وهذا يجعل الذاكرة والحسابات تنمو مع كل رمز إضافي. التحويل الخطي يستبدل هذه الآلية بتحديثات حالة ثابتة الحجم، لكن السؤال الذي ظل بلا إجابة كافية: لماذا تفقد النماذج المحوّلة دقتها؟
الفريق لم يبدأ بتجربة تقنيات جديدة مباشرةً، بل بتحليل رياضي لما يفعله softmax فعلياً. اكتشفوا أن softmax يعتمد على إسقاطات متعامدة من المرتبة الأولى تعتمد على المفاتيح (key-dependent, rank-1 orthogonal projections)، وهذا يفسّر ظاهرة طالما لاحظها الباحثون دون تفسير: الشبكات التي تستخدم آلية “delta-style” في تحديث الحالة تتفوق على الشبكات التي تعتمد على بوابات تراكم بسيطة (gated accumulation). الفارق ليس مصادفةً هندسية، بل نتيجة مباشرة لطبيعة الإسقاطات الرياضية التي يحاكيها كل نهج.
بعد تشخيص المصدر الرئيسي لأخطاء التقريب، قدّم الفريق ثلاثة تدخلات هيكلية مصمّمة لسد الفجوة المتبقية بين النموذج المحوَّل والأصلي:
- Sink tokens (رموز المرساة): إضافة رموز خاصة تعمل كـ”مراسٍ” تستوعب الانتباه الزائد وتمنع تشتت المعلومات في عملية تحديث الحالة الخطية، وهي تعالج نمطاً معروفاً في الانتباه حيث تجذب الرموز الأولى انتباهاً غير متناسب.
- Short convolutions (تلافيفات قصيرة): طبقات تلافيف محدودة النافذة تُضاف إلى مسار المعالجة لتعويض فقدان التبعيات المحلية القصيرة التي يُتقنها softmax بطبيعته ولا يُجيدها النموذج الخطي بالقدر ذاته.
- Fixed-budget cache routing (توجيه الذاكرة المؤقتة بميزانية ثابتة): آلية تحدد مسبقاً حجم الذاكرة المؤقتة المسموح باستخدامها وتوجّه الانتباه نحو الرموز الأكثر أهمية ضمن هذا الحجم، بدلاً من الاحتفاظ بكل السياق الذي يُعيد التكلفة التربيعية من النافذة الخلفية.
الاختبار الحقيقي جاء على نطاق واسع: طبّق الفريق هذه المنهجية على نماذج LLaMA وQwen بأحجام تصل إلى 32 مليار معامل، مع تجميد الأوزان الأصلية كاملاً (frozen-backbone regime) وتحويل آلية الانتباه فقط. النتائج على معيار MMLU تجاوزت جميع خطوط الأساس السابقة لعمليات التحويل اللاحق (post hoc baselines)، فيما حققت النماذج المحوّلة استرجاعاً للسياق الطويل مماثلاً لأطر التخزين المؤقت التكيّفي المعقدة، وهي الأطر التي تُعدّ حتى الآن المرجع الأصعب في هذا المجال تحديداً.
ما يميّز هذه الورقة عن غيرها من محاولات التحويل ليس التقنيات المُقدَّمة بحد ذاتها — sink tokens وshort convolutions موجودة في أدبيات سابقة — بل المنهجية التشخيصية: بدلاً من تجربة مكوّنات عشوائياً حتى تتحسن النتائج، بدأ الفريق بسؤال: ما الذي يجعل softmax يعمل بهذه الكفاءة رياضياً؟ ثم صمّم التدخلات لمعالجة الفجوات المحددة التي كشف عنها التحليل. هذا النهج يجعل النتائج قابلة للتفسير والتعميم بدلاً من كونها وصفة سحرية تعمل لأسباب غامضة.
من الناحية العملية، يعني هذا أن النماذج المحوّلة بهذه الطريقة تحتفظ بقدرات الاسترجاع في السياق الطويل — أحد أصعب المتطلبات على النماذج الخطية — دون الحاجة إلى إعادة تدريب كاملة على بيانات جديدة. إذا أردت نموذجاً يعالج مستندات طويلة بكلفة استدلال ثابتة، فهذا هو المسار الذي يقترب أكثر من الوعد النظري للنماذج الخطية دون التضحية بما يجيده النموذج الأصلي.
الورقة لا تدّعي حل المشكلة نهائياً — ثمة “فجوة متبقية” تعترف بها صراحة، والتدخلات الثلاثة تُقلّصها دون إلغائها كلياً. لكن تقديم تفسير رياضي موحّد لأداء delta-style مقابل gated accumulation، ثم إثبات قابليته للتطبيق على نماذج بحجم 32 مليار معامل، يضع هذا العمل في مصافّ الأوراق التي ستُشكّل توجه أبحاث التحويل الخطي في الأشهر القادمة.
