robots.txt تحكم بمحركات البحث!

[xainoo]

السلام عليكم
الكثير يسأل عن ملف robots.txt
الذي يجعلك تتحكم بطريقة تصفح محرك البحث لموقعك..
أنا أقول..
أولاً تفتح ملف جديد و تسميه بإسم robots.txt
و تضعه في المجلد الرئيسي لموقعك..
و لكن ماذا تضع داخله؟

إذا أردت كل محركات البحث أن تتصفح و تتبع جميع الروابط دون استثناء اكتب:
User-agent: *
Disallow:

إذا أردت محرك بحث معين مثل قوقل اكتب:
User-agent: googlebot

إذا أردت منع محركات البحث من تصفح صفحة معينة اكتب:
Disallow: email.htm

إذا أردتها أن تمنعها من مجلد كامل.. اكتب:
Disallow: /cgi-bin/

هذه تمنع كل المحركات من تصفح موقعك بالكامل:
User-agent: *
Disallow: /

هذه تمنع محرك بحث معين من تصفح موقعك:
User-agent: Roverdog
Disallow: /

آخر مثال... تمنع محرك بحث معين من تصفح صفحة معينة:
User-agent: googlebot
Disallow: cheese.htm

و إذا أردت أن تكتب كلام بجانب الكود و لا يفهمه محرك البحث (حتى تتعرف لماذا كتبت الكود) اكتب:
Disallow: bob #comment
لاحظ أن ما بعد # سيهملك محرك البحث (في نفس السطر)

كل ما عليك.. وضع الكود و حفظه! و أنا أفضل الذي يجعلك جميع المحركات يتصفحون كل الموقع..
بالتوفيق..
و السلام عليكم...

[umar]

معلومات قيمه جداً ... بارك الله فيك

[مبرمج إنترنت]

تسسسسسسسسسسسسلللللللم هذا اللي انا محتاجه

[xainoo]

حياكم الله... و سأضيف موضوع قريب له علاقة بالمواضيع إن شاء الله
دعواتكم بس..

[SAMsUNG]

مشكور اخوي على المعلومات المفيدة ...
الصراحه بتفيدني كثيرا خاصة اني استعمل الفريمات كثير في موقعي ...

[الجياش]

جزاك الله خيرا

وننتظر الاخ xainoo

[NewGsm]

من الملاحظ ان في النيوك يأتي ملف بنفس الاسم ونفس الفائدة ولكن المحتوى مختلف


ياليت تطلع عليه وتعطيني رآيك فيه

هذا المحتوى
User-agent: Mediapartners-Google*
Disallow:
User-agent: *
Disallow: admin.php
Disallow: /admin/
Disallow: /images/
Disallow: /includes/
Disallow: /themes/
Disallow: /blocks/
Disallow: /modules/
Disallow: /language/

[شبكة العربية]

السلام عليكم

معنى هذا الكود انه يمنع محرك بحث جوجل من البحث فى فولدر الادمن والصور والبلوكات والثيمات واللغة والموديلز ...احتياطات امنية!!!

[xainoo]

أخي شبكة العربية و الباقين.. أصحح كلامك بعد إذنك:
صادق إنها احتياطات أمنية و لكن:
User-agent: Mediapartners-Google
^^^ هذي خاصة ببرنامج الإعلان حق قوقل Adsense
ثم يقول له أنه مسموح بتصفح كل الموقع:
Disallow:
لأنه لم يحدد أي شيء للمنع

أما القسم الثاني:
User-agent: *
^^^ هذا لباقي محركات البحث
Disallow: admin.php
Disallow: /admin/
Disallow: /images/
Disallow: /includes/
Disallow: /themes/
Disallow: /blocks/
Disallow: /modules/
Disallow: /language/
^^ منع عن باقي محركات البحث كل المجلدات التي في الأعلى

بطريقة أوضح:
يقول لبرنامج إعلان قوقل.. إنت شوف كل شي.. و الباقيين.. لا تشوفون المجلدات هذي
يعني شكله يحب قوقل.. أو يجيبله فوئد!
بالتوفيق
سلام عليكم..

[Losha.Net]

موضوع قديم ولاكن ما رأيك بهذا هل صحيح ام لا

User-Agent:Googlebot
User-Agent: *
Allow: /
Allow: /vb
Allow: /48.htm
Allow: /root.htm
Allow: /search
Allow: /
Disallow: /
Disallow: /cgi-bin
Disallow: /cgi-bin
Disallow: /cgi-bin
Disallow: /cgi-bin
Disallow: /cgi-bin

[wathiq]

موضوع قـيــم شكرا لك

[© بندر ©]

موضوع متميز ومهم ولكن لو كان شاملاَ لكان افضل

بارك الله فيك وننتظر منك المزيد

[المستثمرون العرب]

السلام عليكم
الكثير يسأل عن ملف robots.txt
الذي يجعلك تتحكم بطريقة تصفح محرك البحث لموقعك..
أنا أقول..
أولاً تفتح ملف جديد و تسميه بإسم robots.txt
و تضعه في المجلد الرئيسي لموقعك..
و لكن ماذا تضع داخله؟

إذا أردت كل محركات البحث أن تتصفح و تتبع جميع الروابط دون استثناء اكتب:
User-agent: *
Disallow:

اخوي ياليت تشوف هل هذا صحيح انا حاس انه فيه خطأ

طبعا ملف robots بهذا الشكل
User-agent: *
Disallow:

ولكن عند الذهاب لقوقل

Test this robots.txt file and try out changes

ثم
Choose user-agents [?]
Google uses several user-agents. You can restrict access for specific user-agents in this robots.txt file. We will check Googlebot automatically, since we use it for our regular web crawls. You can choose an additional user-agent to test. See our removals page for more information about restricting access for user-agents in a robots.txt file.

• Googlebot : crawls pages for our web index and Google News

تظهر هذه النتيجة
Allowed by line 2: Disallow:
Detected as a directory; specific files may have different restrictions

[مشعل نت]

[متابع بصمت ]