بقلم: سارة | محررة نماذج الذكاء الاصطناعي · صوت تحريري بإشراف بشري
قبل عام واحد، أتاحت كلاودفلير لأصحاب المواقع زراً واحداً لحجب روبوتات الذكاء الاصطناعي دفعةً واحدة. اليوم، تقول الشركة إن هذا الزر لم يعد كافياً — والسبب أن “الذكاء الاصطناعي” لم يعد يعني شيئاً واحداً.
الإعلان الجديد يأتي بثلاثة تغييرات متداخلة: تصنيف أدق للروبوتات، وخيارات ضبط موسّعة لجميع العملاء بما فيهم مستخدمو الخطة المجانية، وقاعدة بيانات مرئية تُسمى BotBase موجّهة لعملاء المؤسسات. الموعد النهائي للتحولات الجوهرية هو 15 سبتمبر 2026.
المشكلة التي تحاول كلاودفلير معالجتها ليست تقنية بحتة. صاحب موقع صغير يواجه معضلة حقيقية: إذا حجب كل الروبوتات حمايةً لمحتواه، خسر ظهوره في نتائج البحث وفقد حركة الزوار. وإذا فتح الباب أمام الجميع، وجد نفسه يموّل تدريب نماذج لا تعيد إليه شيئاً. الحل الأحادي — اسمح بالكل أو احجب الكل — يخدم محركات البحث الكبرى أكثر مما يخدم أصحاب المحتوى الأصليين.
التصنيف الجديد يقسم الروبوتات وفق ثلاثة محاور رئيسية يستطيع أي صاحب موقع التحكم بها بشكل مستقل:
- Search — الروبوتات التي تفهرس المحتوى لتظهر في نتائج البحث لاحقاً. المنطق هنا أن الفهرسة تعود على صاحب الموقع بزوار حقيقيين، وهذا كان العقد الضمني بين الويب ومحركات البحث منذ ثلاثين عاماً.
- Agent — الأتمتة التي تعمل في الوقت الفعلي نيابةً عن مستخدم بشري. يشمل هذا روبوتات الدردشة مثل ChatGPT-User والمتصفحات المُشغَّلة بالذكاء الاصطناعي مثل Gemini أو Claude حين يقودان Chrome. الزيارة هنا لإنجاز مهمة، وهناك إنسان ينتظر النتيجة.
- Training — الزاحف الذي يستوعب محتواك داخل بنية النموذج بشكل دائم لتحسين قدراته. هذا هو الاستخدام الأكثر إثارةً للجدل، لأن المحتوى لا يُعاد إلى مصدره بأي شكل.
إلى جانب هذه الفئات الثلاث الرئيسية، تتبع كلاودفلير في BotBase ثمانية أنواع إضافية من السلوك: Transact (إجراء عمليات شراء بالنيابة)، وData Collection (كشط الأسعار والتحليلات)، وSecurity Testing (فحص الثغرات)، وSEO (تدقيق الموقع وإمكانية الوصول)، وAds Verification (التحقق من الإعلانات)، وSocial / Link Preview (معاينة الروابط)، وFeed Fetching (قارئات RSS وتجميعات الأخبار)، وMonitoring & Operations (مراقبة وقت التشغيل والـ webhooks).
التغيير الذي يستدعي الانتباه الفوري هو ما سيحدث في 15 سبتمبر 2026 للنطاقات الجديدة على كلاودفلير: ستُحجب فئتا Training وAgent تلقائياً على الصفحات التي تعرض إعلانات، فيما تبقى Search مسموحةً بشكل افتراضي. المنطق واضح — وجود إعلان على الصفحة إشارة إلى أن صاحب الموقع يريد أن يراها إنسان حقيقي، لا آلة تستهلك محتواها دون أن تدفع ثمنه.
الأكثر تأثيراً على مشغّلي المحتوى الكبار هو قرار التعامل مع الروبوتات متعددة الأغراض وفق أشد قيودها. فإذا اختار صاحب موقع حجب Training، فإن الروبوتات التي تجمع بين الفهرسة والتدريب في آنٍ واحد — وهذا يشمل Googlebot وApplebot وBingBot — ستُحجب تلقائياً عنده أيضاً. كلاودفلير تضغط هنا على الشركات الكبرى لفصل روبوتاتها: واحد للبحث، وآخر للتدريب، وثالث للوكلاء — لأن الدمج يجعل الشفافية مستحيلة.
على صعيد التحكم الدقيق، تُضيف كلاودفلير بُعداً آخر يتجاوز تصنيف الروبوت نفسه: ماذا يفعل بمحتواك بعد أن يزورك؟ خيار content use الجديد لعملاء Bot Management يتيح الضبط على ثلاثة مستويات: immediate (يتفاعل فقط ولا يخزن شيئاً)، وreference وهو الافتراضي (يفهرس ويقتبس ويرتبط)، وfull (يلخص ويُعيد الإنتاج). يمكن تركيب هذا مع تصنيف الروبوت للتعبير عن قواعد دقيقة، مثل: “اسمح بكل روبوتات Search وSEO وAds Verification، لكن فقط حتى مستوى reference.”
هذا الإعداد لا يبقى داخل لوحة كلاودفلير فحسب — بل يمتد إلى ملف robots.txt من خلال إشارة use الجديدة التي تُضاف إلى Content Signals:
العملاء الذين فعّلوا robots.txt المُدار سابقاً كانوا يحصلون على:
User-agent: * Content-Signal: search=yes,ai-train=no Allow: /
بعد التحديث، تُضاف القيمة الجديدة تلقائياً:
User-agent: * Content-Signal: search=yes,ai-train=no,use=reference Allow: /
هذه الإشارة تعبّر عن تفضيل صاحب الموقع ولا تُصدر حجباً مباشراً — الفرق جوهري. لكن كلاودفلير أضافت ضمانة: أي روبوت يثبت إساءته لهذه الإشارات يخسر وضع “Verified”، ومعه يُلغى السماح به. والروبوتات التي تُعيد الإنتاج الكامل لا تستطيع الحصول على هذه الصفة أصلاً.
أما BotBase، قاعدة البيانات المخصصة لعملاء Enterprise Bot Management، فتقدّم للمرة الأولى كتالوجاً ديناميكياً شاملاً لجميع الروبوتات المعروفة مع تصنيفاتها مباشرةً على لوحة كلاودفلير. يستطيع المستخدم البحث عن روبوت بعينه، وتصفية حركته، ونسخ معرف الكشف لاستخدامه في قواعد الأمان. الميزة متاحة الآن داخل صفحة إعداد Bot Management، مع وعد بتوسيعها لاحقاً لتصبح مركز تحكم مباشر.
ما تفعله كلاودفلير في جوهره هو إعادة رسم عقد الزحف على الويب. بدلاً من سؤال “هل هذا ذكاء اصطناعي؟” الذي أصبح عاجزاً عن التمييز بعد أن صار البحث العادي من Google نفسه محرّكاً للإجابات الكاملة، الأسئلة الجديدة هي: ما الذي يفعله الروبوت بمحتواي؟ وماذا يخزّن؟ وكيف يُعيد توزيعه؟ هذا تحوّل نوعي في فلسفة التصنيف، وإن كان نجاحه الحقيقي مرهوناً بمدى التزام الشركات الكبرى بالشفافية التي تطالبها بها.
