robots.txt ما الفائدة اذا كان موقعى يتم ارشفته ؟ سؤال مهم

[Mr.Mido]

السلام عليكم ورحمة الله وبركاته

قريت مواضيع كتير لملف الروبوتس ومافهمته انه يقوم بالسماح بارشفة الموقع او عدم السماح لروابط معينة ان تكون مؤرشفة ولكن ما اهمية هذا الملف اذا كان الموقع يتم ارشفته كل يومين او ثلاثة على الاكثر ؟
سؤالى بسبب موضوع للاخ خالد وكيف ان ملف robots كان من اهم العوامل لزيادة عدد زوار موقعه وهو ما اريد توضيحا له اذا كان الموقع كما ذكرت يتم ارشفته بشكل دورى فكيف يفيدنى الملف فى زيادة عدد زوار موقعى من محركات البحث ؟

شكرا لكم وسة سعيدة عليكم

[Shab Muslim]

سؤالى بسبب موضوع للاخ خالد وكيف ان ملف robots كان من اهم العوامل لزيادة عدد زوار موقعه وهو ما اريد توضيحا له

ممكن رابط الموضوع حتي استطيع التوضيح لك باستفاضه ؟

[Mr.Mido]

تفضل

http://www.swalif.net/softs/swalif55/softs211999/

[خالد الحربي]

هلا عزيزي

بخصوص ملف الروبوت فوائدة كثيرة

ولكن الاهم فيها واللي اعرفه

1. تخبر محركات البحث من عدم ارشفة ملفات ومجلدات بموقعك لتسهل عليك سرعة ارشفة موقعك

2.منع او السماح لبوتات او عناكب محركات البحث من الزحف لموقعك

اخبار محرك البحث قوقل بمكان سيت ماب موقعك بدل الدخول الى قوقل ويب ماستر


ولك حرية الاختيار بوضعه او لاتضعه :app:

وبالتوفيق لك عزيزي

[رشيد]

نفرض عندك بيت به 10 غرف. مسموح للزوار بدخول 3 غرف فقط. على كل باب تضع ورقة مكتوب عليها هل الدخول مسموح ام لا. الدخول الى الغرف الثلاث سيعود عليك بالفائدة والدخول الى الغرف ال 7 الباقية لن يفيدك وقد يضرك.

نفس الشيئ مواقع الانترنت - نقول لعناكب محركات البحث هنا مسموح الدخول وهنا غير مسموح. عناكب البحث ستدخل الى الاماكن المسموحة وتأرشف محتوياتها. الاماكن الغير مسموحة لن تدخل اليها ولن تأرشف محتوياتها.

بهذه الطريقة تضمن انه كل زيارة لموقعك من قبل عناكب محركات البحث سوف تستفيد منها لانه هذه العناكب سوق تصل للمحتوى الذي قمت بتحديده ولن تصل الى محتوى أنت غير معني بنشره لانه لن يفيد موقعك.

لا يهم متى تتم ارشفة الموقع - خذ بالحسبان انه الموقع لا يتم ارشفته بالكامل خلال زيارة واحدة لعناكب البحث ! تتم الارشفة بشكل تدريجي وهنالك عوامل كثيرة تؤثر على وتيرة الأرشفة. نفترض عندك موقع جديد به 500 موضوع , عندها سيتم ارشفة موضوعين كل 3-4 ايام مثلاً. عندما تصل العناكب لموقعك سوف "تقرأ" كل مرة ملف الروبوت في البداية حتى تعرف ماذا تؤرشف وماذا لا تؤرشف.

نفرض عندك بالموقع محتويات شخصية مثلا لا تريدها ان تظهر بمحركات البحث. عند استعمالك لملف الروبوت لمنع ارشفة هذه المحتويات الخاصة سوف:

1. تحافظ على خصوصيتك
2. تكسب زيارة عناكب محركات البحث بشيئ مفيد لموقعك

ايضا عامل الوقت يدخل هنا. نفرض موقع به 1000 رابط. 500 رابط مفيد و 500 رابط غير مفيد. ارشفة 1000 رابط تحتاج شهر مثلا. عند استعمالك ملف الروبوت سوف تتم ارشفة الموقع خلال نصف شهر. يعني ربحت 15 يوم !

طبعا هنالك فوائد أخرى مثلا , منع ارشفة المواضيع المكررة duplicated , منع ارشفة امتدادات ملفات معينة والمزيد.

اتمنى انه الفكرة وصلت