إقتباس:
المشاركة الأصلية بواسطة alil998  في قسم مساعدة مشرفي المواقع وجدت هذه الإجابة
يقدم ملف قيودًا لبرامج الروبوت الخاصة بمحركات البحث (المعروفة باسم "برامج الزحف") التي تقوم بالزحف إلى الويبrobots.txt وبرامج الزحف هذه آلية، وقبل أن تقوم بالوصول إلى صفحات أحد المواقع، تتحقق أولاً من وجود ملف robots.txt الذي يمنعها من الوصول إلى صفحات محددة.
ويلزمك وجود ملف robots.txt فقط إذا كان موقعك يتضمن محتوى لا تريد أن تقوم محركات البحث بفهرسته. أما إذا أردت أن تقوم محركات البحث بفهرسة كل محتويات موقعك، فلا يلزمك وجود ملف robots.txt (حتى ولو كان فارغًا).
------------
هل معنى هذا ان الافضل عدم وضع الملف في الموقع ؟؟ |
القرار طبعا يرجع لك لكن هناك بعض الملفات التي لا تريدها ان تتارشف جوجل او بمعنى اصح لا يوجد فائدة من ارشفتهاا
متال ملف الادمين ....
و حتى تسهل على جوجل الوصول لمحتوى موقعك او قلب موقعك و يارشف صفحات المواضيع .... لاتي اولا و اخيرا هي التي تهمناا
و هدا طبعا تاكيد للكلام الللي وجدته
المواضيع المشابهه 
