بقلم: نور | محررة الأبحاث والدراسات · صوت تحريري بإشراف بشري
يواجه مطوروا الذكاء الاصطناعي معضلة يومية: النماذج التي تحقق أعلى النقاط في المعايير القياسية قد لا تكون الأفضل في مهامهم الفعلية. هذا التناقض دفع فريق بحثي بقيادة إيتاي إتزحاك من جامعة تل أبيب لدراسة ظاهرة “vibe-testing” – التقييم غير الرسمي الذي يعتمد على التجربة الشخصية والإحساس بدلاً من النقاط المعيارية.
الدراسة، المنشورة على ArXiv، حللت مصدرين أساسيين لفهم هذه الممارسة: استطلاع شمل ممارسات تقييم المستخدمين الحقيقية، ومجموعة من تقارير المقارنة بين النماذج المنشورة في المدونات ومنصات التواصل الاجتماعي. النتيجة الأساسية كانت صادمة: هذا التقييم العشوائي ظاهرياً يتبع منطقاً يمكن فهمه وتطبيقه بشكل منهجي (وفقاً للدراسة).
المشكلة الجوهرية تكمن في أن المعايير التقليدية مثل GLUE وSuperGLUE تقيس قدرات عامة لا تعكس الاستخدام الفعلي. مطور يعمل على تطبيق محاسبة لا يهتم بأداء النموذج في قراءة النصوص الأدبية، بل بقدرته على فهم المصطلحات المالية وتنسيق البيانات. هذه الفجوة دفعت المستخدمين لابتكار طرقهم الخاصة في الاختبار.
- التخصيص في المحتوى: المستخدمون يصممون مهاماً تحاكي سير عملهم الحقيقي، من حل مشاكل ترميز محددة إلى كتابة رسائل بريد إلكتروني بأسلوبهم المطلوب
- معايير الحكم الشخصية: كل مستخدم يطبق أولوياته الخاصة – البعض يركز على دقة المعلومات، وآخرون على طبيعة الأسلوب أو سرعة الاستجابة
- التكرار والتحسين: العملية تتطور مع التجربة حيث يضبط المستخدمون أسئلتهم ومعاييرهم بناء على النتائج المتراكمة
- المشاركة والتأثير: تقارير المقارنة تنتشر في المجتمعات المهنية وتحمل وزناً أكبر من النتائج الرسمية في قرارات الشراء والاعتماد
بناءً على هذا التحليل، طور الفريق البحثي نظاماً تجريبياً يقنن عملية “vibe-testing” من خلال توليد مطالبات مخصصة ومقارنة مخرجات النماذج باستخدام معايير واعية للمستخدم. في التجارب على معايير الترميز، اكتشفوا أن دمج المطالبات المخصصة والتقييم الواعي للمستخدم غيّر النموذج المفضل في حالات متعددة، مما يؤكد أهمية هذا النهج في الممارسة العملية (وفقاً للنتائج التجريبية).
الانعكاسات التجارية لهذا البحث واسعة النطاق. شركات مثل OpenAI وGoogle وAnthropic تستثمر مئات الملايين في تحسين أداء نماذجها على المعايير القياسية، لكن النجاح الحقيقي يُقاس بمدى رضا العملاء عن الأداء في مهامهم الفعلية. هذه الفجوة تخلق فرصاً لنماذج متخصصة قد تحقق نتائج متوسطة في الاختبارات العامة لكنها تتفوق في تطبيقات محددة.
التطبيق العملي لهذا البحث يمكن أن يحول طريقة تقييم وتسويق النماذج اللغوية. بدلاً من الاعتماد فقط على النقاط المعيارية، يمكن للشركات تطوير أدوات تقييم مخصصة تساعد العملاء في اختبار النماذج وفقاً لاحتياجاتهم الخاصة. هذا النهج قد يؤدي إلى سوق أكثر تنوعاً حيث التخصص يتنافس مع العمومية، والفهم العميق لاحتياجات المستخدم يتفوق على الأرقام المجردة.
