بقلم: ليلى | محررة أدوات المطورين · صوت تحريري بإشراف بشري
حين تُضغط نموذج لغوي كبير من 16-bit إلى 4-bit أو حتى 2-bit بهدف تشغيله على أجهزة ذات موارد محدودة، تبدو مقاييس الأداء التقليدية مطمئنة في الغالب — الدقة لم تنخفض كثيراً، والـ perplexity لا يزال مقبولاً. لكن ورقة بحثية جديدة نُشرت على arXiv بتاريخ 9 يوليو 2026 تقول إن هذا الاطمئنان وهمٌ منهجي، وأن النموذج المُكمَّم يتصرف بشكل مختلف جوهرياً حتى حين تبدو أرقامه مماثلة تماماً لأرقام النموذج الأصلي.
أعدّ الورقة كلٌّ من بها ربابعة وكونيت غورجان أكسورا وكارسون ك. ليونغ، وتقوم حجتها المركزية على نقطة واحدة حادة: المقاييس الحالية تقيس الأداء المطلق، لا الاتساق السلوكي. نموذجان يحصلان على الدرجة ذاتها في اختبار ما قد يصلان إليها عبر إجابات صحيحة مختلفة تماماً — وهذا الفارق يصبح حاسماً في أي سياق يستلزم قدراً من الموثوقية أو الاتساق عبر الزمن.
لمعالجة هذا الفراغ، يقترح الباحثون مقياساً جديداً أسموه correctness agreement، وهو مقياس على مستوى القرار يقيس نسبة التداخل في الإجابات الصحيحة بين النموذج الأصلي ونظيره المُكمَّم، بصرف النظر عن الدقة الكلية لكليهما. الفكرة بسيطة لكنها كاشفة: قد يُجيب النموذج الأصلي بشكل صحيح على أسئلة A, B, C، فيما يُجيب المُكمَّم بشكل صحيح على A, D, E — دقة متطابقة، لكن سلوكاً مختلفاً بالكامل.
اختبر الباحثون هذا المقياس عبر نماذج متعددة ومخططات تكميم تتراوح بين 8-bit و2-bit. النتيجة الأبرز أن الانحراف السلوكي يظهر حتى عند مستويات تكميم معتدلة حين تبدو مقاييس الأداء الاعتيادية سليمة. بمعنى آخر، يمكنك قياس نموذجك المُكمَّم ويعطيك أرقاماً مقبولة، لكنه في الوقت ذاته يتخذ قرارات مختلفة بشكل منهجي عن النموذج الأصلي دون أن تنتبه لذلك.
الجانب الأعمق في الورقة يتناول السبب البنيوي وراء هذا الانحراف. يعالج الباحثون عملية التكميم باعتبارها عاملاً بنيوياً يؤثر على أوزان الانتباه (attention weights)، ثم يقيسون التشوهات طبقةً بطبقة باستخدام مقاييس إحصائية وتوزيعية. الاكتشاف اللافت هنا مزدوج: أولاً، تظهر نقاط كسر غير خطية عند مستويات bit-width المنخفضة، أي أن الضرر لا يتراكم بشكل متدرج منتظم بل يقفز فجأة عند عتبات معينة. ثانياً، إسقاطات الـ query والـ key تثبت باستمرار أنها أكثر حساسية للتكميم مقارنةً بإسقاطات الـ value والـ output، وهو ما يستدعي إعادة النظر في كيفية توزيع ميزانية البتات عبر طبقات النموذج.
هذا التمييز بين مكونات الانتباه ليس تفصيلاً أكاديمياً بحتاً. إذا كنت تبني نظاماً يعتمد على نماذج مُكمَّنة — سواء لأسباب تتعلق بتكلفة الاستدلال أو بالنشر على الحافة (edge deployment) — فأنت عملياً تتحمل مخاطر سلوكية لا تكشفها اختبارات الدقة الاعتيادية. الورقة تُحوّل هذا من تحذير نظري إلى إشكالية قابلة للقياس والمعالجة.
الأهمية العملية لهذه النتائج تتجاوز البيئات الأكاديمية إلى أي فريق يُنشر نماذج مُكمَّنة في الإنتاج. مقياس correctness agreement يمكن دمجه في خطوط تقييم النماذج كطبقة إضافية إلى جانب الدقة والـ perplexity، خصوصاً في تطبيقات يُشكّل فيها الاتساق السلوكي عبر الزمن متطلباً وظيفياً لا مجرد جودة مستحسنة. ومعرفة أن إسقاطات query/key هي الأكثر هشاشة تتيح اعتماد استراتيجيات تكميم مختلطة تحافظ على دقة أعلى في المناطق الحساسة بدلاً من تطبيق معدل بتات موحد على كامل النموذج.
تقع الورقة في سياق متنامٍ يشكّك في ما اعتُبر لفترة طويلة تكافؤاً مقبولاً بين النماذج الأصلية ومتحولاتها المُكمَّنة. المعادلة التي بنى عليها كثيرون قراراتهم — “إذا لم تنخفض الدقة بشكل ملحوظ فالنموذج مكافئ” — تبدو اليوم أقل متانة مما بدت عليه. الاتساق السلوكي معيار مختلف وأصعب، وربما آن الأوان لأن تصبح ضرورة لا اختيارية في تقييم النماذج.
