بدل ضبط التفضيلات لكل شركة منفردة، رمز واحد في robots.txt تتعهد أربع شركات باحترامه، اثنتان منها ابتداءً من العام المقبل.
ضمن ملف: نماذج الذكاء الاصطناعي، OpenAI
بقلم: سارة | محررة نماذج الذكاء الاصطناعي · صوت تحريري بإشراف بشري
المصدر الأساسي: The Verge
لماذا يهم
الناشرون وأصحاب المواقع يحصلون على طريقة أبسط لرفض استخدام محتواهم في التدريب من دون خسارة ظهورهم في البحث، لكن الحماية تبقى طوعية وناقصة حتى تلتزم بقية الشركات.
ناشر يدير موقعاً تقنياً ويريد إبعاد محتواه عن تدريب النماذج كان عليه حتى اليوم أن يكتب تعليمات منفصلة لكل شركة ذكاء اصطناعي داخل ملف robots.txt، وأن يلاحق أسماء زواحف جديدة كلما ظهرت. هذا تحديداً ما تعد OpenAI وGoogle وMicrosoft وAnthropic بتغييره. الشركات الأربع أعلنت أنها ستتبنى معياراً جديداً يعبّر فيه الناشر عن تفضيلاته بشأن التدريب مرة واحدة فتسري على عدة شركات، بحسب ما نشره The Verge في 30 أكتوبر 2026 (وفقاً لـ The Verge)، وكان موقع Search Engine Roundtable قد سبق إلى نشر الخبر.
الأداة اسمها “policy token”، أي رمز سياسة مشترك، واقترحها كيفن كيلي، المسؤول التقني عن المعايير في Anthropic، ضمن مسودة مقدمة إلى فريق عمل هندسة الإنترنت IETF بعنوان Machine-Readable Training Preference Signal. يوضع الرمز داخل robots.txt، الملف الذي تستخدمه المواقع منذ زمن طويل لتحديد الزواحف المسموح لها بالدخول، سواء للفهرسة في البحث أو الأرشفة أو تدريب النماذج. وبحسب The Verge، تتعهد الشركات الأربع بمنع زواحفها من دخول أي موقع تجد فيه هذا الرمز.
التطبيق لن يكون متطابقاً بين الجميع. بحسب The Verge، ستقدم Microsoft ضوابط دقيقة تفصل بين رفض التدريب ورفض الـ grounding، وهو توجيه النموذج إلى مصدر معلومات موثوق لتقليل الهلوسة، وتؤكد أن المواقع ستبقى ظاهرة في نتائج بحث Bing أياً كانت تفضيلاتها. ويذكّر المصدر نفسه بأن Google طبقت سابقاً ضوابط مشابهة تتيح للمواقع التحكم في ظهور محتواها داخل ميزات البحث بالذكاء الاصطناعي أو استخدامه في التدريب، من دون المساس بظهورها في البحث العادي.
الجدول الزمني هو نقطة الضعف الأوضح. بحسب The Verge، تبنت Anthropic الإشارة بالفعل، فيما تخطط Google وMicrosoft لدعمها العام المقبل ولم يُحدد الموعد بعد، وتقول OpenAI في إعلانها الرسمي إنها ستطبقها “في الأشهر المقبلة”. هذه كلها تعهدات معلنة من الشركات نفسها، ولم يتسنَّ التحقق من تطبيقها بشكل مستقل حتى الآن.
خارج الأربع، يبقى موقف Meta معلقاً. بحسب The Verge، أبدى رئيس الاتصالات فيها آندي ستون دعمه للإعداد الجديد من دون أن يقول إن الشركة ستلتزم به، مكتفياً بقوله: “نعتقد أن إنشاء إشارة مشتركة تنقل هذه التفضيلات إلى عدة مزودين دفعة واحدة خطوة مهمة، ونتطلع إلى العمل مع شركات الذكاء الاصطناعي الأخرى على المعايير وتطبيقها في القطاع”. ويأتي المعيار وسط محاولات أخرى للتصدي للجمع غير المصرح به، إذ يمنح معيار Really Simple Licensing المعروف بـ RSL الناشرين القدرة على تحصيل رسوم من الزواحف، بينما تحجب Cloudflare زواحف الذكاء الاصطناعي افتراضياً، بحسب The Verge.
هل يكفي هذا لحماية محتواك؟ تقديرنا في موجز أن المكسب حقيقي لكنه محدود. سطر واحد بدل قائمة متنامية من أسماء الزواحف يوفر على الناشرين الصغار وقتاً وأخطاء، لكن robots.txt لم يكن يوماً جداراً تقنياً بل طلباً يعتمد على حسن نية الزاحف، والزواحف المجهولة لن تلتفت إليه. ولم تنشر الشركات حتى الآن صيغة السطر النهائية في المصدر، لذا الأفضل مراجعة مسودة IETF قبل تعديل ملفك. ويبقى المعيار صامتاً عن المحتوى الذي جُمع ودُرّبت عليه النماذج قبل وجوده أصلاً، وهو السؤال الذي يهم الناشرين أكثر من أي رمز جديد.
المصادر
- The biggest names in AI are backing a new way to opt out of scraping theverge.com
- Google Also Adopts New AI Training Control seroundtable.com
- Machine-Readable Training Preference Signal datatracker.ietf.org
- Making it easier for websites to express AI training preferences openai.com
