بقلم: نور | محررة الأبحاث والدراسات · صوت تحريري بإشراف بشري
المشكلة في معظم أنظمة Mixture-of-Experts LoRA اليوم بسيطة وصارخة في آنٍ واحد: كل رمز (token) يصل إلى النموذج يحصل على العدد ذاته من الخبراء المُفعَّلين، سواء كان رمزاً بديهياً لا يحتاج إلى أي جهد، أم رمزاً غامضاً يستدعي كل الطاقة المتاحة. هذا الإسراف الحسابي هو ما تحاول ورقة بحثية نشرها على arXiv في 28 يوليو 2026 أن تحلّه من جذوره.
الباحثون — Tom Saliencro وزملاؤه Rohan Desai وPriya Nair وMaya Lindqvist وDaniel Whitmore — يُقدّمون نظاماً أسمّوه CARE (Confidence-Adaptive Routing of Experts)، فكرته المحورية أن موزّع الخبراء (router) نفسه يحمل بالفعل إشارةً تدلّ على مستوى ثقة النموذج بكل رمز: حين يتركّز الوزن على خبير واحد (توزيع حادّ)، يعني ذلك أن النموذج واثق؛ وحين يتسطّح الوزن على خبراء متعددين (توزيع مسطّح)، يعني ذلك أن الرمز صعب ويستحق موارد إضافية. لم يكن أحد يستغلّ هذه الإشارة الجاهزة — حتى الآن.
آلية CARE تعمل وفق مبدأ “النواة” (nucleus) المعروف في أنظمة توليد النصوص: يُفعَّل الخبراء تنازلياً بحسب أوزانهم حتى يتراكم مجموعهم فوق عتبة محددة، ثم يتوقف التفعيل. لكن ثمة إضافة ذكية: إذا اختلف الخبراء المُفعَّلون في تقييماتهم — وهو مؤشّر على غموض إضافي — تُمدَّد العتبة لاستيعاب خبير إضافي. وللتحكم في ميزانية الحوسبة الكلية، يضمّ النظام ما أسماه الباحثون “منظّم الميزانية الحرارية” (budget thermostat)، الذي يعدّل العتبة تلقائياً لضمان أن متوسط الخبراء المُفعَّلين يظل عند أي هدف يحدده المستخدم.
الجانب الهندسي الذي يجعل CARE جذاباً عملياً هو أنه لا يضيف أي معاملات (parameters) جديدة، ولا يتطلب تمريرات أمامية متعددة (multi-forward passes)، ولا يعيد تدريب النموذج من الصفر. إنه قاعدة تُطبَّق في تمريرة أمامية واحدة فحسب — مما يعني أنك تستطيع إضافته إلى أي نظام MoE-LoRA موجود كـ”قطعة مُبادلة” (drop-in).
على صعيد النتائج، اختُبر CARE عبر ثمانية معايير استدلال تقييسي (commonsense benchmarks) على نموذجَي LLaMA-3.1-8B وQwen2.5-7B، إضافةً إلى مهام الرياضيات والبرمجة والمعرفة العامة (وفقاً للورقة البحثية). النتائج جاءت في شقّين: أولاً، CARE يتفوق على أنظمة top-k الثابتة عند حوسبة مكافئة. ثانياً — والأهم من الناحية الاقتصادية — يُطابق CARE أداء النظام الثابت عند k=4 مع تفعيل عدد أقل من الخبراء فعلياً، أي أداء مشابه بحوسبة أخفّ.
يمتدّ عمل CARE أيضاً إلى مشكلة مختلفة لكنها مرتبطة: الكشف عن توزيعات البيانات الخارجة عن التدريب (out-of-distribution detection). إشارتا الثقة والخلاف اللتان يستخدمهما النظام للتوجيه أثبتتا أنهما أكثر فاعلية من معيار الاحتمال الأقصى (MSP) والإنتروبيا وبدائل التمريرات المتعددة في رصد الحالات الشاذة — وهو ما يضيف بُعداً تطبيقياً لا يقتصر على ضغط التكلفة.
للباحثين والمطوّرين الراغبين في التطبيق الفعلي، الورقة تتضمّن ثلاثة مرتكزات نظرية تدعم التصميم: أولاً “دقة النواة” (nucleus fidelity) التي تثبت أن الاختيار المستند إلى الكتلة التراكمية يُحقق تمثيلاً أفضل للتوزيع الكامن؛ ثانياً “المثالية الميزانية” (budget optimality) التي تُبيّن كيف يصل منظّم الحرارة إلى العتبة المثلى؛ وثالثاً “القراءة الإبستيمية للخلاف” التي تُقرأ فيها خلافات الخبراء كمؤشّر على عدم اليقين الحقيقي لا مجرد ضجيج عشوائي. الكود متاح للعموم مع نشر الورقة.
الفكرة التي يطرحها CARE في جوهرها ليست مجرد تحسين هندسي — إنها إعادة صياغة لمبدأ التخصيص في النماذج اللغوية الكبيرة: الرمز الصعب يستحق أكثر، والرمز السهل يستحق أقل، والموزّع نفسه يعرف الفرق منذ البداية. السؤال الذي يطرحه هذا العمل بشكل ضمني هو: لماذا انتظرنا كل هذا الوقت لنستغلّ إشارةً كانت أمامنا طوال الوقت؟
