منظمة METR تطور سير عمل مدعوم بالذكاء الاصطناعي لتقييم النماذج
أجرت منظمة METR تمريناً استكشافياً لفهم كيفية استخدام الذكاء الاصطناعي في تسريع عمليات تقييم النماذج الجديدة. وتأتي هذه الخطوة استعداداً للعام المقبل الذي سيشهد إطلاقات متسارعة للنماذج الجديدة.
ماذا حدث؟
نفذت منظمة METR تمريناً على الطاولة لدراسة سير العمل المدعوم بالذكاء الاصطناعي في تقييم النماذج. وبالتالي هدفت المنظمة إلى فهم التحديات التي ستواجه الباحثين العام المقبل. كما أن معدل إصدار النماذج الجديدة سيتزايد بشكل كبير وفقاً لتوقعات الخبراء. في المقابل ستتطلب كل نموذج جديد تقييمات متخصصة ومعقدة. وفضلاً عن ذلك ركزت الدراسة على تحديد العقد الضيقة في العملية. بالإضافة إلى ذلك حاولت قياس مدى تسريع الباحثين فعلياً لعملهم. وأشارت منظمة METR إلى أن هذه السير الجديدة ضرورية قبل أن تصبح حتمية.
السياق والمشهد الأشمل
تشهد صناعة الذكاء الاصطناعي تسارعاً ملحوظاً في إطلاق النماذج الجديدة من مختلف الشركات. وبالتالي تواجه مؤسسات التقييم تحدياً متزايداً في مواكبة هذا التطور المتسارع. كما أن الشركات الرائدة مثل أوبن إيه آي وأنثروبيك تطلق نماذج محدثة بوتيرة أسرع من السابق. في المقابل تتطلب كل من هذه النماذج تقييمات شاملة للأمان والأداء. ومع ذلك تواجه فرق البحث قيوداً في الوقت والموارد البشرية. نتيجةً لذلك تبحث المنظمات عن طرق جديدة لتحسين الكفاءة. على سبيل المثال تستكشف مؤسسات أخرى أدوات الأتمتة في عمليات التقييم.
لماذا يهم؟
يؤثر هذا التطور على جميع أصحاب المصلحة في قطاع الذكاء الاصطناعي بطرق متعددة. وبالتالي ستستفيد الشركات من تقييمات أسرع وأكثر دقة لنماذجها الجديدة. كما أن الباحثين سيحصلون على أدوات تساعدهم في إنجاز مهامهم بكفاءة أكبر. في المقابل ستضمن هذه الطرق الجديدة معايير أمان أعلى للنماذج المطروحة. ومع ذلك قد تثير تساؤلات حول اعتماد الباحثين على الذكاء الاصطناعي في التقييم. نتيجةً لذلك ستحتاج الصناعة إلى وضع ضوابط واضحة لاستخدام هذه الأدوات.
ما التالي؟
تخطط منظمة METR لنشر تفاصيل أوسع حول نتائج التمرين والدروس المستفادة منه. وبالتالي ستوفر إرشادات عملية للباحثين والمؤسسات المهتمة. كما أن النتائج ستساعد في تطوير معايير صناعية للتقييم المدعوم بالذكاء الاصطناعي. في حين أن التطبيق الفعلي لهذه السير قد يبدأ في النصف الثاني من العام المقبل. وتجدر متابعة أخبار الذكاء الاصطناعي للحصول على آخر التطورات في هذا المجال. بالإضافة إلى ذلك يمكن الاستفادة من الإحصائيات والتقارير المتخصصة لفهم اتجاهات السوق.
أبرز النقاط
- منظمة METR أجرت تمريناً لتطوير سير عمل مدعوم بالذكاء الاصطناعي لتقييم النماذج
- الهدف مواجهة التحدي المتزايد لمعدل إطلاق النماذج الجديدة والتقييمات المطلوبة
- النتائج ستوجه تطوير معايير صناعية جديدة للتقييم في العام المقبل
