كيف استخدم ملف robots.txt للتحكم في الوصول إلى موقعي؟
في قسم مساعدة مشرفي المواقع وجدت هذه الإجابة
يقدم ملف قيودًا لبرامج الروبوت الخاصة بمحركات البحث (المعروفة باسم "برامج الزحف") التي تقوم بالزحف إلى الويبrobots.txt وبرامج الزحف هذه آلية، وقبل أن تقوم بالوصول إلى صفحات أحد المواقع، تتحقق أولاً من وجود ملف robots.txt الذي يمنعها من الوصول إلى صفحات محددة.
ويلزمك وجود ملف robots.txt فقط إذا كان موقعك يتضمن محتوى لا تريد أن تقوم محركات البحث بفهرسته. أما إذا أردت أن تقوم محركات البحث بفهرسة كل محتويات موقعك، فلا يلزمك وجود ملف robots.txt (حتى ولو كان فارغًا).
------------
هل معنى هذا ان الافضل عدم وضع الملف في الموقع ؟؟
__________________
قال رسول الله صلى الله عليه وسلم (( من استطاع منكم ان ينفع اخاه فليفعل ))