بقلم: نور | محررة الأبحاث والدراسات · صوت تحريري بإشراف بشري
كل مرة تختبر فيها نموذج لغوي على أسئلة تنبؤية محلولة، أنت لا تقيس الذكاء الاستشرافي — بل تقيس الذاكرة. هذه هي المشكلة التي رصدها فريق من الباحثين في ورقة بحثية نُشرت على arXiv في يوليو 2026، وأطلقوا عليها اسم Hindcast، وهي إطار تقييم مصمم لإغلاق قناتَي التسرب اللتين تحوّلان كل اختبار تنبؤي إلى مجرد اختبار استذكار.
الباحثون — Xiao Ye وJacob Dineen وEvan Zhu وShijie Lu وKevin Song وBen Zhou — يحددون المشكلة في مستويين. الأول هو نموذج يمتلك أدوات استرجاع: إن كان بإمكانه سحب تقارير كُتبت بعد وقوع الحدث، فالتنبؤ يتحول إلى بحث في أرشيف. الثاني أعمق: كل جيل جديد من النماذج يُدرَّب على بيانات أحدث، فسؤال كان يقع في المستقبل بالنسبة لنموذج العام الماضي، يصبح ضمن بيانات تدريب نموذج هذا العام. في الحالتين، ما يُقيَّم فعلياً هو الاستذكار لا الاستشراف.
الحل الذي يقترحه Hindcast يقوم على فكرة الإعادة الزمنية المضبوطة: يُحدَّد لكل سؤال تاريخ افتراضي t₀ يمثل اللحظة التي يُفترض أن النموذج “يقف فيها” قبل وقوع الحدث. ثم يُتاح للنموذج قراءة أرشيف Reddit العام المجمَّد، لكن فقط المنشورات المكتوبة قبل ذلك التاريخ. ويُقيَّم التنبؤ بمعيارين متوازيين: ما الذي حدث فعلاً، وما الذي كان سعر السوق على منصة Polymarket عند t₀ — وهو سعر يعكس رهانات بشرية بُنيت من المعلومات ذاتها المتاحة.
هذا التصميم يحمل ميزة إضافية: لأن نقطة الإغلاق الزمني محددة لكل سوق على حدة، والأرشيف ثابت لا يتغير، يمكن إعادة تشغيل التقييم على أسواق جديدة كلما تطورت النماذج، دون أن يبلى الاختبار أو يصبح ملوثاً. وهذا يميزه عن معايير القياس التقليدية التي تصبح متقادمة بمجرد أن تصل بياناتها إلى نوافذ تدريب النماذج الجديدة.
أما النتيجة الأبرز فهي مفاجئة في دقتها: بعد إغلاق التسرب، الاسترجاع لا يزال مفيداً لمعظم النماذج — لكن فقط حين كان Reddit يحتوي على نقاشات حقيقية حول الحدث قبل وقوعه. أما حين لم يحمل الأرشيف سوى تخمينات وتكهنات، فإن الاسترجاع يضر لا يفيد، لأن النموذج يستند إلى ضوضاء بدلاً من إشارات. هذا تمييز جوهري لأي مطور يبني أنظمة RAG أو retrieval-augmented forecasting: جودة الأرشيف وزمنيته يحددان ما إذا كان الاسترجاع أداةً أم عبئاً.
تبرز أهمية هذا البحث في سياق متسارع لبناء أنظمة تنبؤ مستندة إلى LLMs، وهو ما يتقاطع مع توجهات مثل استخدام أسواق التنبؤ في تسعير موارد الحوسبة. حين تُبنى قرارات مالية أو استراتيجية على هذه النماذج، فإن اختباراً ملوثاً لا يكشف عن أداء حقيقي — بل يعطي وهم الدقة. Hindcast يطرح مطالبة جوهرية للمنهجية: إن لم تكن تغلق قنوات التسرب، فأنت لا تقيس قدرة النموذج على التنبؤ، بل قدرته على التذكر.
لا يزال البحث في مرحلة ما قبل المراجعة العلمية الرسمية، لكن المنهجية تحمل قدراً عالياً من الإقناع المنطقي. السؤال المفتوح هو مدى قابلية Polymarket كمرجع للتحقق على نطاق واسع، وما إذا كانت نقاطه تعكس فعلاً توافقاً بشرياً نقياً أو تتأثر هي الأخرى بتحيزات الحشود. لكن كمقاربة للتمييز بين الاستذكار والاستشراف، يبدو Hindcast خطوة منهجية لا يمكن تجاهلها.
