بقلم: نور | محررة الأبحاث والدراسات · صوت تحريري بإشراف بشري
حين تسأل نموذج لغوي عن نسبة معينة في مجتمع ما، هل تتوقع أن تكون إجابته متسقة مع ما يقوله عن الفئات الفرعية التي تُشكّل ذلك المجتمع؟ افتراضياً نعم — لكن بحثاً جديداً نُشر على arXiv في يوليو 2026 يكشف أن الإجابة هي لا، وبشكل منهجي ومقلق.
فريق من باحثي ETH Zürich — Patrik Wolf وThomas Kleine Buening وAndreas Krause وCelestine Mendler-Dünner — طرح سؤالاً جوهرياً: هل تلتزم نماذج اللغة الكبرى بقانون الاحتمال الكلي؟ هذا القانون الإحصائي البسيط يقول إن الاحتمال الكلي لحدث ما يساوي مجموع احتمالاته المشروطة مرجّحةً بأوزان الفئات الفرعية — وهو مبدأ لا يحتمل الاستثناء في الرياضيات. النتيجة: نماذج الحدود الأمامية تنتهك هذا المبدأ باستمرار وبشكل واسع.
المنهجية التي اعتمدها الفريق ذكية في بساطتها. استخدموا الأشجار الثنائية كإطار تقييم: تُقسَّم المجموعة السكانية أولاً إلى فئتين، ثم تُقسَّم كل فئة إلى فئتين فرعيتين، وهكذا بشكل تكراري حتى الوصول إلى فئات دقيقة جداً. بعد ذلك، يُطرح على النموذج سؤال تقديري لكل فئة فرعية نهائية، ثم تُجمَّع الإجابات بالأوزان الصحيحة للعودة إلى التقدير الكلي — ثم تُقارَن هذه القيمة المُعاد بناؤها بما يقوله النموذج حين يُسأل مباشرةً عن المجتمع ككل. التناقض بين الرقمين هو مقياس انتهاك الاتساق الذاتي الإحصائي.
الاكتشاف الأبرز في الورقة هو ما أسماه الباحثون المغالطة الكلية (Macro Fallacy): حين تُعيد بناء تقدير النموذج من إجابات الفئات الفرعية الدقيقة، تحصل على رقم أقرب إلى البيانات البشرية المرجعية مقارنةً بما يعطيك إياه النموذج حين يُسأل مباشرةً عن الصورة الكلية. بمعنى آخر، النموذج يحمل معرفة دقيقة صحيحة داخله، لكنه يفشل في تجميعها عند الإجابة على الأسئلة العامة. هذه ليست فجوة في المعرفة، بل فجوة في التجميع والاستدلال.
ظاهرة المغالطة الكلية ظهرت بثبات عبر هياكل أشجار مختلفة وأنواع متعددة من مهام التقدير، مما يستبعد أن تكون نتيجة عرضية أو خاصة بنموذج بعينه. اختُبرت النماذج الأكثر تقدماً على الإطلاق في الفترة المحيطة بالدراسة، وجميعها أبدت هذا السلوك بدرجات متفاوتة. التجارب شملت أيضاً ما يعرف بـpersona prompting — أي حين تُعطي النموذج هوية أو منظوراً محدداً في السياق — وهي الحالة التي كشفت أوضح أمثلة المغالطة الكلية.
ثمة نقطة أثارها الباحثون تستحق التأمل: الاتساق الذاتي الإحصائي معيار تقييم لا يحتاج بيانات مرجعية خارجية. بمعنى أنك لا تحتاج إلى معرفة الإجابة الصحيحة لتكتشف أن النموذج غير متسق — يكفي أن تسأله بطريقتين مختلفتين وتقارن. هذا يجعله أداة تقييم قابلة للتطبيق على نطاق واسع دون الحاجة إلى تسميات أو مراجعة بشرية مكلفة، وهو ما يصفه المؤلفون بأنه معيار “غير مُشبَع” — أي أن النماذج الحالية لم تُقاربه بعد.
التلميح الجزئي بالفئات الفرعية داخل السياق — دون تقسيم صريح — أسهم في تحسين الاتساق في بعض الحالات، وهو ما يعني أن صياغة الـ prompt لها دور في استدعاء المعرفة الفرعية الكامنة في النموذج. لكن هذا التحسين كان جزئياً فحسب، ولا يُلغي الإشكالية البنيوية التي تكشف عنها الدراسة.
الأثر العملي لهذه النتائج يمتد إلى كل تطبيق يعتمد على LLMs لإنتاج تقديرات إحصائية أو استطلاعية أو ديموغرافية. إذا كنت تستخدم نموذجاً لتقدير نسبة تبني تقنية ما بين “المطورين” عموماً، فأنت قد تحصل على رقم يختلف عمّا يقوله النموذج عن المطورين في قطاع المال، ثم مطوري الصحة، ثم مطوري التعليم — حتى لو كانت هذه الفئات تمثّل معاً مجموع “المطورين”. هذه ليست مسألة أكاديمية فحسب؛ هي تحذير مباشر لأي فريق يعتمد على النماذج في توليد بيانات أو تقديرات كمية.
ما تُقدمه هذه الورقة في المحصلة ليس مجرد نقد لنماذج بعينها، بل إطار قياس جديد يمكن تطبيقه على أي نموذج مستقبلي. والسؤال المطروح الآن ليس هل النماذج تنتهك الاتساق الإحصائي — فهذا ثابت — بل كيف يمكن تصميم نماذج أو تقنيات prompting تُجبر النموذج على نشر معرفته الفرعية إلى المستوى الكلي بشكل موثوق.
