كيف استخدم ملف robots.txt للتحكم في الوصول إلى موقعي؟

[alil998]

في قسم مساعدة مشرفي المواقع وجدت هذه الإجابة

يقدم ملف قيودًا لبرامج الروبوت الخاصة بمحركات البحث (المعروفة باسم "برامج الزحف") التي تقوم بالزحف إلى الويبrobots.txt وبرامج الزحف هذه آلية، وقبل أن تقوم بالوصول إلى صفحات أحد المواقع، تتحقق أولاً من وجود ملف robots.txt الذي يمنعها من الوصول إلى صفحات محددة.

ويلزمك وجود ملف robots.txt فقط إذا كان موقعك يتضمن محتوى لا تريد أن تقوم محركات البحث بفهرسته. أما إذا أردت أن تقوم محركات البحث بفهرسة كل محتويات موقعك، فلا يلزمك وجود ملف robots.txt (حتى ولو كان فارغًا).

------------

هل معنى هذا ان الافضل عدم وضع الملف في الموقع ؟؟

[sawaz.uni.cc]

في قسم مساعدة مشرفي المواقع وجدت هذه الإجابة

يقدم ملف قيودًا لبرامج الروبوت الخاصة بمحركات البحث (المعروفة باسم "برامج الزحف") التي تقوم بالزحف إلى الويبrobots.txt وبرامج الزحف هذه آلية، وقبل أن تقوم بالوصول إلى صفحات أحد المواقع، تتحقق أولاً من وجود ملف robots.txt الذي يمنعها من الوصول إلى صفحات محددة.

ويلزمك وجود ملف robots.txt فقط إذا كان موقعك يتضمن محتوى لا تريد أن تقوم محركات البحث بفهرسته. أما إذا أردت أن تقوم محركات البحث بفهرسة كل محتويات موقعك، فلا يلزمك وجود ملف robots.txt (حتى ولو كان فارغًا).

------------

هل معنى هذا ان الافضل عدم وضع الملف في الموقع ؟؟

القرار طبعا يرجع لك لكن هناك بعض الملفات التي لا تريدها ان تتارشف جوجل او بمعنى اصح لا يوجد فائدة من ارشفتهاا

متال ملف الادمين ....

و حتى تسهل على جوجل الوصول لمحتوى موقعك او قلب موقعك و يارشف صفحات المواضيع .... لاتي اولا و اخيرا هي التي تهمناا

و هدا طبعا تاكيد للكلام الللي وجدته

[عاااادل]

انصحك

وبشده

ان تضع هذا الملف في موقعك

راح يفيدك كثير في ارشفة موقعك


ويختصر لك مسافات كثيره