ملف ال robots.txt هل انت معه ام ضده ؟

[ahdaf.net]

السلام عليكم و رحمة الله و بركاته
هل تعرف ماهو ملف ال Robots.txt ؟؟؟ لمن لا يعرفه هو ملف يكون مرفق مع المجلد الرئيسيى لمعظم المجلات و المنتديات, والبعض يضيفه الى المجلد الرئيسى لموقعه الهدف منه هو جذب او طرد مواقع البحث من ادراج و فهرسة صفحات موقعك

بعض الاكواد التى توضع فيها ومعناها:

السماح لكل محركات البحث بفهرسة موقعك ضع الكود

User-agent: *
Disallow:

لمنع كل محركات البحث من فهرسة كامل موقعك ضع الكود

User-agent: *
Disallow: /

لحظر ملف معين من محرك بحث معين نضع الكود

User-Agent: (Spider Name) 
Disallow: (File Name)

حيث Spider Name هو اسم برنامج الارشفة التابع لمحرك البحث ,, و File Name هو اسم الملف المحظور على هذا المحرك..ويمكنك تكرار الكود لكل محرك بحث في نفس الملف,,ومنع كل ملف لحده في سطر خاص

لاحظ ان هذا الملف يجب ان يكون في المجلد الرئيسي للموقع وفي اي مجلد داخلي اخر لن يعمل ,, وعلية لو اردت منع محرك بحث معين من ارشفة صفحات في مجلدات داخلية فقط اشر الى المجلد ثم الصفحة

User-Agent: (ArchitextSpider) 
Disallow: folder/moffed-com-gg.html 
Disallow: folder/moffed-info-al.html

ولفهم الاكواد بصورة سهلة
العلامة * تشير الى تعميم كل محركات البحث
Disallow تعنى حظر ( عدم السماح) لمحركة البحث
لوكتبنا

Disallow:

فقط بدون تحديد اسم مجلد او ملف بجانبها فمعناها اننا نطلب من محرك البحث عدم حظر اى اننا نطلب منه فهرسة الموقع كله , اما اذا اضفنا بجواره اسم ملف او مجلد ليصبح

User-agent: *
Disallow: /cgi-bin/
Disallow: /images/

فنحف نطلب منع فهرسة مجلدات معينة

حيث ان المجلدات
cgi-bin
images
يتم منع فهرستهم بمحركات البحث

ولو وضعنا مثلا

Disallow: admin.php

فنحن نطلب عدم فهرسة وحظر الملف المسمى admin.php و الموجود بالمجلد الرئيسى للموقع


السماح لبعض محركات البحث الشهيرة بفهرسة الموقع دون محركات البحث الاخرى

# Major Search Engines and Known Friendly Spiders (allowed)

User-agent: Googlebot
Disallow:

User-agent: MSNBot
Disallow:

User-agent: Slurp
Disallow:

User-agent: Teoma
Disallow:

User-agent: Gigabot
Disallow:

User-agent: Scrubby
Disallow:

User-agent: Robozilla
Disallow:

# Everyone Else (NOT allowed)

User-agent: *
Disallow: /

منع جوجل من ارشفة موقعك

User-agent: Googlebot Disallow: /

منع فهرسة جوجل لامتداد معين من الصور

User-agent: Googlebot Disallow: /*.gif$

والآن جرب ان تتعرف على معنى ملف ال robots.txt المرفق مع مجلات النيوك
ستجد الكود التالى غالباً

User-agent: Mediapartners-Google*
Disallow: 
User-agent: *
Disallow: admin.php
Disallow: /admin/
Disallow: /images/
Disallow: /includes/
Disallow: /themes/
Disallow: /blocks/
Disallow: /modules/
Disallow: /language/

هذا يعنى انك تسمح لمحركات البحث و لمحرك جوجل بفهرسة موقعك
لكنك لاتسمح لجميع محركات البحث من فهرسة ملف ال
admin.php
و مجلدات ال
admin
images
includes
themes
blocks
modules
language


مزيد من المعلومات

انقر هنا

مع احترامى لدور هذا الملف فى توجيه او اخفاء بعض الملفات و المجلدات عن محركات البحث
لكن ماذا لو كتبنا فى المتصفح
www.yourdomain.com/robots.txt
اليس هذا يخبرنا عن الملفات الهامة بالموقع و التى يريد صاحب الموقع اخفاؤها ؟؟ وهذا يعنى ان تلك الملفات جديرة بالاختراق وتوجه انظار المخترق اليها ؟؟؟اعتقد ان هذا الملف مفيد جداً لمحركات البحث لكنه بالنسبة للمتربصين و الهاكرز قد يكون مفيد اكثر ؟؟!!!
فما رأيكم انا افضل عدم وضعه وحذفه :con2:

[9mbc]

موضووووع جدا هااادف ومميز تشكر عليه

وفقك الله ولي تعليق لاحقا

تم حفظه بالمفضله

[usware]

موضوع روعة

الملف هذا اذا استعمل بطريقة خطأ ممكن ينحش مواقع البحث من الموقع

ماافضل استعمالة ابدا مع ان لة فوائدة

[PHP Emperor]

جزاك الله الف الف الف خير


ممكن سؤال بسيط :
User-agent: Mediapartners-Google* ما عملة بالملف ؟

[ahdaf.net]

Mediapartners-Google هو احد محركات بحث جوجل و هو مسؤول عن تصفح البرنامج الاعلانى adsense الخاص بجوجل مزيد من المعلومات عن ال adsense انقر هنا

الكود التالى

User-agent: Mediapartners-Google*
Disallow: 
User-agent: *
Disallow: admin.php
Disallow: /admin/
Disallow: /images/
Disallow: /includes/
Disallow: /themes/
Disallow: /blocks/
Disallow: /modules/
Disallow: /language/

يعنى انك تسمح لمحرك بحث جوجل الخاص باعلانات جوجل ال adnense ولجميع محركات البحث بتصفح و فهرسة جميع روابط موقعك
وتمنع جميع محركات البحث من تصفح و فهرسة ملف ال
admin.php
و مجلدات ال
admin
images
includes
themes
blocks
modules
language

[PHP Emperor]

User-agent: Mediapartners-Google*
Disallow: 
User-agent: *
Disallow: admin.php
Disallow: /admin/
Disallow: /images/
Disallow: /includes/
Disallow: /themes/
Disallow: /blocks/
Disallow: /language/

حذفت
Disallow: /modules/

هل بينفع ؟

[ahdaf.net]

ينفع
معنى هذا انك تريد من محركات البحث فهرسة البرامج المستقلة

[YE4SOFT]

شكراً لك اخي على التوضيح الاكثر من رائع

اصحاب النيوك افضل طريقة هي هاكذا في نظري

User-agent: *
Disallow: admin.php
Disallow: /admin/
Disallow: /images/
Disallow: /includes/
Disallow: /themes/
Disallow: /blocks/
Disallow: /modules/
Disallow: /language/

لانك تسمح لمحركات البحث كاملة بتصفح موقعك
الا عدة ملفات وهي

Disallow: admin.php
Disallow: /admin/
Disallow: /images/
Disallow: /includes/
Disallow: /themes/
Disallow: /blocks/
Disallow: /modules/
Disallow: /language/

واما عن مجلد موديلز اخي عقبة
اضن يبقى الحال كما عرضته انا لانه هو المطلوب في التعامل مع النيوك
وسلامتك ياقلبي

وتعليقي على الموضوع
لا اضن هناك اي ظرر من الملف
لانه معروف تقريبا لدى الجميع مايحتويه هذا الملف وما هي إمكانياته
ومعروف ماذا سيحمي كل صاحب موقع سوء نيوك او غير النيوك

فاتمنى لك التوفيق

[Dezo]

ahdaf.net انا معك ..

اشكرك جداً .. اخي العزيز .. من جد نفتقر لمثل هالمواضيع ..

دمت بود .. وشاكر لك جداً اخي العزيز ..

تحياتي

[PHP Emperor]

YE4SOFT مشكور وربي يسلمك من كل شر

[عبد الله هُربي]

رائع أخي الكريم ..
والف شكر لك على الموضوع الهام ..


ولكن انا لا استخدمه في موقعي ..نهائياً ..
فماذا يحدث ؟؟

[السريع]

اليس هذا يخبرنا عن الملفات الهامة بالموقع و التى يريد صاحب الموقع اخفاؤها ؟؟

محركات البحث تتبع الروابط و لن يقوم صاحب الموقع بوضع رابط لملف هام يريد إخفائه ، لذا سيضع في محرك البحث فقط الصفحات التي يريد منع أرشفتها ، و يوجد روابط لها ..

اما انا فقد حجبت ملف report في موقعي ، تخيل ان يزور محرك البحث كل الصفحات ( عدد الدروس ) التي تحتوي على ريبورت ؟ سيقضى على بريدي بـ مئات الإيميلات ، كما حجبت النسخة لايت لكي لا يعتبر ذلك تكرر المحتوى .. و اما باقي ما لا اريد حجبه فلا يستطيع محرك البحث الوصول إليه ..

جواباً لسؤالك أخي مجاهد : عدم إستخدامه لا يسبب أي ضرر ،

+-+-+-+-+-+-+-+-+-+-+-+-+-+
◦•◊ w w w . D o r o o s . n e t ◊•◦
+-+-+-+-+-+-+-+-+-+-+-+-+-+
:.: E-Mail :: Alsarea3@Gmail.com :.:
:.: messenger :: msn@alsarea3.com :.:

[اسامة الهادى]

يعتبر ملف rebots.txt
كما يقولوا .. سلاح ذو حدين ..
فهو مفيد : فى أرشفه المواضيع والمواقع والصفحات
وكما تقول فهو ضار : أعين الهاكرز ستجتاح موقعك ..
فلنفكر بالعقل .. فسنجد ان الحل الأمثل هو عدم استخدامه
بإمكاننا إدخال محركات البحث بطرق أخرى وكثيره مثل وسم الميتا وتفعيل الـ spiders إلخ ...

[NewGsm]

هذا مايحوية موقع قوقل

http://www.google.com/robots.txt

	
	
User-agent: *
Allow: /searchhistory/
Disallow: /search
Disallow: /groups
Disallow: /images
Disallow: /catalogs
Disallow: /catalogues
Disallow: /news
Disallow: /nwshp
Disallow: /?
Disallow: /addurl/image?
Disallow: /pagead/
Disallow: /relpage/
Disallow: /sorry/
Disallow: /imgres
Disallow: /keyword/
Disallow: /u/
Disallow: /univ/
Disallow: /cobrand
Disallow: /custom
Disallow: /advanced_group_search
Disallow: /advanced_search
Disallow: /googlesite
Disallow: /preferences
Disallow: /setprefs
Disallow: /swr
Disallow: /url
Disallow: /wml?
Disallow: /xhtml?
Disallow: /imode?
Disallow: /jsky?
Disallow: /pda?
Disallow: /sprint_xhtml
Disallow: /sprint_wml
Disallow: /pqa
Disallow: /palm
Disallow: /gwt/
Disallow: /purchases
Disallow: /hws
Disallow: /bsd?
Disallow: /linux?
Disallow: /mac?
Disallow: /microsoft?
Disallow: /unclesam?
Disallow: /answers/search?q=
Disallow: /local?
Disallow: /local_url
Disallow: /froogle?
Disallow: /froogle_
Disallow: /print?
Disallow: /books?
Disallow: /scholar?
Disallow: /complete
Disallow: /sponsoredlinks
Disallow: /videosearch?
Disallow: /videopreview?
Disallow: /videoprograminfo?
Disallow: /maps?
Disallow: /translate?
Disallow: /ie?
Disallow: /sms/demo?
Disallow: /katrina?
Disallow: /blogsearch?
Disallow: /reader/
Disallow: /chart?
Disallow: /base
Disallow: /transit?
 :D 


وهذا مايحوية موقع داون لود الكبير 
http://www.download.com/robots.txt

# $Source: /cvs/main/ops/config/global/w/robots.txt,v $
# $Revision: 1.16 $
User-agent: *
Disallow: /Ads/
Disallow: /redir/
# Disallow: /i/ is removed per 190723
Disallow: /av/
Disallow: /css/
Disallow: /error/
Disallow: /clear/
Disallow: /mac-ad
Disallow: /adlog/
# URS
Disallow: /13
# normal
Disallow: /2105
Disallow: /2130
# email story; 149414
Disallow: /2113
# captcha image and verification pages; 149414
Disallow: /2114
Disallow: /2119
# UO2 (submit)
Disallow: /3643
Disallow: /3645
Disallow: /3646
Disallow: /3647
# port registration
Disallow: /3322
# upload.com
Disallow: /390
Disallow: /3910
# dlx reports
Disallow: /333
# 183605
Disallow: /4034
# gdl email this 193828 
Disallow: /3414
Disallow: /3415
# gdl search results
Disallow: /3120

شوف هذا من كبار المواقع العالمية
وفوق ذلك عارضين الملفات طبيعي ويستخدمونها
لا فكرو في هكر ولا
هذا الملف فقط يعطيك إمكانية السماح او عدم السماح بدخول محرك البحث لمكان معين

ادري الموضوع قديم ولكن اليوم كنت ابحث في النت ودخلت على موضوع الروبوت
وافتكرت هذا الموضوع قلت افعله شوي

لإنه موضوع مهم في الاصل