أعلنت Cloudflare عن ميزة جديدة باسم Bot Preference Sync تهدف إلى تبسيط واحدة من أكثر المشكلات التي ظهرت مع انتشار روبوتات الذكاء الاصطناعي: وجود فرق بين ما يعلنه صاحب الموقع داخل ملف robots.txt وبين القواعد التي يطبقها فعليًا عبر أدوات الحماية وإدارة الروبوتات.
الميزة الجديدة تقوم بمزامنة تفضيلات روبوتات الذكاء الاصطناعي التي يحددها صاحب الموقع داخل لوحة Cloudflare مع ملف robots.txt بصورة تلقائية، بحيث تصبح التعليمات المعلنة للروبوتات متوافقة مع السياسة التي تم اختيارها على مستوى الموقع.
الإجابة السريعة
Bot Preference Sync هي ميزة جديدة من Cloudflare تقوم بتحديث ملف robots.txt تلقائيًا وفق إعدادات AI Bots المحددة في لوحة Cloudflare، بما يشمل روبوتات Search وAgent وTraining. الميزة متاحة لجميع الخطط من Free حتى Enterprise، ويمكن تشغيلها أو إيقافها في أي وقت، مع الحفاظ على تعليمات robots.txt الموجودة بالفعل.
ما هي Bot Preference Sync؟
بحسب إعلان Cloudflare الرسمي، جاءت الميزة لمعالجة مشكلة عملية تواجه أصحاب المواقع الذين يديرون وصول الروبوتات بأكثر من طبقة.
فقد يضع صاحب الموقع مثلًا تعليمات داخل robots.txt تمنع روبوتًا معينًا من الوصول، بينما لا توجد قاعدة فعلية تمنع هذا الروبوت على مستوى Cloudflare، أو يحدث العكس تمامًا.
وترى Cloudflare أن وجود هذا التعارض يمكن أن يجعل إدارة التفضيلات أكثر تعقيدًا، ولذلك تعمل Bot Preference Sync على إبقاء ما يعلنه الموقع داخل robots.txt متوافقًا مع الإعدادات التي يطبقها المستخدم بالفعل.
ثلاث فئات مختلفة لروبوتات الذكاء الاصطناعي
Cloudflare قسمت حركة روبوتات الذكاء الاصطناعي إلى ثلاث فئات أساسية هي Search وAgent وTraining، بحيث يستطيع صاحب الموقع اتخاذ قرار مختلف تجاه كل نوع بدل تطبيق سياسة واحدة على جميع الروبوتات.
بالنسبة لفئتي Search وAgent، تتيح Cloudflare ثلاثة اختيارات: السماح بالوصول، أو الحظر على الصفحات التي تعرض إعلانات فقط، أو الحظر في جميع أجزاء الموقع.
أما فئة Training، فتتيح Cloudflare خيار Disallow لإعلان أن صاحب الموقع لا يريد استخدام محتواه في تدريب نماذج الذكاء الاصطناعي.
ماذا يحدث داخل robots.txt؟
عند تفعيل Bot Preference Sync تقوم Cloudflare بإنشاء التعليمات المناسبة وإضافتها إلى ملف robots.txt بناءً على إعدادات AI Bots المختارة.
وإذا كان الموقع يمتلك ملف robots.txt بالفعل، فلا تقوم Cloudflare بحذف محتواه أو استبداله بالكامل. وفق الشركة، يتم وضع القواعد التي تنشئها الميزة قبل المحتوى الموجود، مع الحفاظ على تعليمات Disallow الموجودة مسبقًا.
وهذه نقطة مهمة لأصحاب المواقع الذين يعتمدون بالفعل على ملف robots.txt مخصص، لأن تفعيل الميزة لا يعني التخلي عن القواعد التي سبق إعدادها يدويًا.
لماذا تعتبر Cloudflare المزامنة مهمة؟
تقول Cloudflare إن وسائل التحكم في الروبوتات لا تعمل جميعها بالطريقة نفسها. robots.txt يعبر في الأساس عن تفضيل صاحب الموقع ويفترض أن الروبوت سيلتزم به، بينما أدوات Bot Management تستطيع تطبيق حظر فعلي عند الحافة.
وهذا يعني أن وجود تعليمات في robots.txt لا يضمن وحده منع روبوت لا يحترم الملف. في المقابل، يمكن للحظر الفعلي أن يمنع الوصول حتى لو كانت التعليمات المعلنة للموقع تقول شيئًا مختلفًا.
هنا يأتي دور Bot Preference Sync: تقليل الفجوة بين ما يقوله الموقع للروبوتات وما تنفذه Cloudflare فعليًا.
Cloudflare تريد تمييز روبوتات البحث عن التدريب
جزء مهم من الإعلان يتعلق بالروبوتات التي قد تستخدم نفس البنية التحتية أو الهوية لأكثر من غرض، مثل البحث واستخدام المحتوى في تدريب النماذج.
Cloudflare تقول إنها تعمل على منح معاملة مختلفة للجهات التي توفر قدرًا أكبر من الشفافية. ومن بين المعايير التي ذكرتها الشركة احترام تفضيل عدم التدريب الموجود في robots.txt، وتوفير وسيلة لأصحاب المواقع للانسحاب من ملخصات الذكاء الاصطناعي، وتقديم رؤية على مستوى عناوين URL حول كيفية استخدام المحتوى.
الفكرة هنا أن صاحب الموقع قد يرغب في السماح لمحرك أو مساعد ذكاء اصطناعي باكتشاف صفحاته في البحث، لكنه في الوقت نفسه لا يريد استخدام نفس المحتوى لتدريب نموذج جديد.
منع التدريب لا يعني بالضرورة منع البحث
تحاول Bot Preference Sync معالجة هذه الحالة تحديدًا. فخيار Disallow الخاص بالتدريب يكتب تفضيل عدم استخدام المحتوى في التدريب داخل robots.txt.
وتوضح Cloudflare أن الروبوتات متعددة الاستخدام التي تلتزم بمعايير الشفافية يمكن أن تستمر في الوصول إلى المحتوى لأغراض البحث مع احترام قرار صاحب الموقع بعدم السماح بالتدريب.
بمعنى آخر، الهدف هو الانتقال من نموذج «اسمح للجميع أو امنع الجميع» إلى تحكم أكثر دقة في الغرض الذي يتم من أجله الوصول إلى المحتوى.
الميزة متاحة حتى للحسابات المجانية
أكدت Cloudflare أن Bot Preference Sync متاحة لعملائها عبر جميع الخطط، بداية من Free ووصولًا إلى Enterprise.
كما يستطيع صاحب الموقع تشغيل المزامنة أو إيقافها في أي وقت، وبالتالي لا يصبح robots.txt مرتبطًا بالميزة بصورة لا يمكن التراجع عنها.
وهذه الإتاحة الواسعة تجعل الميزة مهمة لأصحاب المدونات والمواقع الصغيرة أيضًا، وليس فقط للمؤسسات التي تستخدم حلول Cloudflare المتقدمة لإدارة الروبوتات.
robots.txt أصبح أكثر تعقيدًا في عصر AI
إطلاق الميزة يعكس تغير وظيفة robots.txt نفسها. الملف الذي كان يُستخدم أساسًا لتوجيه عناكب محركات البحث التقليدية أصبح اليوم جزءًا من قرارات تتعلق بالبحث بواسطة AI، والوكلاء المستقلين، وتدريب النماذج.
وقد تناولنا هذه النقطة بالتفصيل في سوالف ضمن مقال لماذا يزور الذكاء الاصطناعي موقعك ولا تحصل على زيارات؟، حيث أصبح قرار السماح لكل روبوت أو منعه مرتبطًا بطريقة استخدام المحتوى وليس فقط بعملية الفهرسة التقليدية.
خطوة جديدة في صراع المواقع مع روبوتات AI
لا تحاول Cloudflare من خلال Bot Preference Sync تقديم robots.txt كوسيلة حماية مطلقة؛ بل تعمل على جعل التفضيلات المعلنة أكثر اتساقًا مع أدوات الإنفاذ الموجودة لديها.
وهذا فارق جوهري، لأن الروبوت الذي لا يحترم robots.txt قد يظل بحاجة إلى قاعدة حظر فعلية، بينما الروبوت المتعاون يمكنه استخدام التعليمات المنشورة لفهم ما يسمح به صاحب الموقع وما يرفضه.
ومع تنوع استخدامات روبوتات الذكاء الاصطناعي بين البحث والوكلاء والتدريب، يبدو أن إدارة الوصول إلى المحتوى تتحول تدريجيًا من إعداد واحد بسيط إلى مجموعة من القرارات المنفصلة، وهو بالضبط النوع من التعقيد الذي تحاول Cloudflare تقليله بالميزة الجديدة.
لا يسمح بنقل هذا المحتوى من سوالف دون الاشارة برابط مباشر
