بقلم: نور | محررة الأبحاث والدراسات · صوت تحريري بإشراف بشري
لا يوجد نموذج لغوي واحد يتفوق على غيره في جميع المعايير عند استخدامه في بيئات حكومية — هذا هو الاستنتاج المحوري الذي توصّل إليه فريق بحثي هولندي بعد تقييم أكثر من 30 نموذجاً متعدد اللغات ومتخصصاً في الهولندية، (وفقاً للورقة البحثية المنشورة على arXiv). الفريق المؤلف من Laurens Samson وYuki M. Asano وزملائهم طوّر إطار تقييم منهجياً أسمياه “Grip on LLMs“، ويستهدف تحديداً الاستخدام الحكومي للنماذج اللغوية في السياقات غير الإنجليزية.
الدافع وراء هذا العمل هو فجوة حقيقية: معظم أطر تقييم الـ LLM الموجودة صُمِّمت للإنجليزية أولاً، وتتجاهل القيم الجوهرية للإدارة العامة كالشفافية والحياد والمساءلة. لسدّ هذه الفجوة، عمل الفريق مع مجلس استشاري من خبراء المجال في منظمة بلدية هولندية كبرى، وأجرى بحثاً مع المستخدمين وشملاً لمستخدمي روبوت محادثة مخصص للموظفين المدنيين. من هذه العملية التشاركية خرجت الأبعاد الستة التي يقوم عليها الإطار.
النتائج الرئيسية التي رصدها الباحثون تكشف توترات بنيوية في عالم الـ LLM لا يمكن حلّها بسهولة:
- لا نموذج يتفوق في كل شيء: من بين أكثر من 30 نموذجاً خضعت للاختبار، لم يتصدّر أيٌّ منها جميع الأبعاد الستة في آنٍ واحد. المقايضات حتمية، وليست استثناءً. (arXiv)
- الجودة الأعلى تعني كلفة بيئية ومالية أكبر: وجد الباحثون أن الارتباط بين جودة الأداء من جهة، والأثر البيئي والتكلفة المالية من جهة أخرى، ارتباطٌ ثابت ومستمر — كلما ارتفع مستوى النموذج، ارتفع استهلاكه للطاقة وتكاليف تشغيله. (arXiv)
- التحيز مستقل عن الجودة: على النقيض مما قد يتوقعه المرء، لم يرتبط مستوى التحيز في النماذج بمستوى أدائها العام. نماذج عالية الأداء قد تحمل تحيزات اجتماعية بنفس القدر الذي تحمله النماذج الأضعف. (arXiv)
- الدقة الواقعية والصدق خاصيتان مختلفتان: يميّز الإطار بين factuality (هل يجيب النموذج بشكل صحيح؟) وhonesty (هل يُقرّ بعدم معرفته؟). الإجابة الصحيحة لا تعني بالضرورة أن النموذج سيعترف بجهله حين يجهل — وهو تمييز بالغ الأهمية في البيئات الحكومية التي تتطلب الشفافية. (arXiv)
- شفافية بيانات التدريب بُعدٌ مستقل: يُدرج الإطار شفافية بيانات التدريب كمعيار تقييم منفصل، وهو أمر نادراً ما تُعالجه أطر التقييم التجارية رغم أهميته القانونية والأخلاقية في السياق الحكومي. (arXiv)
- نظرة عامة عامة الوصول لغير التقنيين: أصدر الفريق واجهة عامة وسهلة الاستخدام تُتيح لصانعي السياسات والمسؤولين التنفيذيين — لا للمطورين فقط — الاطلاع على مقارنات النماذج واتخاذ قرارات مبنية على بيانات. (arXiv)
الأبعاد الستة التي يقيس عليها “Grip on LLMs” هي: الدقة الواقعية (factuality)، والصدق (honesty)، والتحيز الاجتماعي (social bias)، واستهلاك الطاقة (energy consumption)، والتكلفة (cost)، وشفافية بيانات التدريب (training data transparency). ما يلفت الانتباه هو أن هذه الأبعاد لا تقيس فقط الأداء التقني، بل تستوعب المخاوف الإدارية والاجتماعية التي نادراً ما تجد طريقها إلى أطر التقييم المعتادة.
ما الذي يجعل هذا الإطار مختلفاً عن المعايير القياسية السائدة؟ الإجابة تكمن في منهجية البناء ذاتها: لم تنبع الأبعاد الستة من فرضيات أكاديمية، بل من مجلس استشاري مع خبراء الميدان، ومن بحث مع المستخدمين الفعليين لروبوت محادثة تستخدمه بلدية هولندية في عملها اليومي. هذا يجعل النتائج قابلة للترجمة المباشرة إلى قرارات المشتريات الحكومية، لا مجرد توصيات بحثية نظرية.
التمييز بين الدقة الواقعية والصدق يستحق توقفاً خاصاً. في كثير من التطبيقات الحكومية — من الإجابة على استفسارات المواطنين إلى مساعدة الموظفين المدنيين — نموذج يجيب بثقة وبشكل خاطئ أخطر بكثير من نموذج يُقرّ بأنه لا يعلم. الفريق وجد أن هذين البُعدَين يخضعان لخصائص مختلفة جذرياً، وأن النموذج ذا الدقة العالية لا يضمن بالضرورة مستوى عالياً من الصدق. هذا الاكتشاف وحده كافٍ لإعادة رسم أولويات المؤسسات الحكومية عند اختيار نماذجها.
على صعيد أوسع، يدفع هذا العمل بسؤال جوهري إلى مقدمة النقاش: هل تكفي معايير التقييم المصممة للسوق التجاري لاتخاذ قرارات حكومية تمس المواطنين مباشرة؟ الجواب الضمني في هذه الورقة البحثية هو “لا”، وهو جواب يستحق أن يتجاوز الهولنديين إلى كل حكومة تدرس توظيف الذكاء الاصطناعي في خدماتها.
