السلام عليكم
ملف الربوت هوا اولى الخطوات لاشهار موقعك فى محركات البحث
فهو الباب الذى يطرقه الاسبيدرز قبل دخول موقعك
فيمكنك من التحكم فى فهرسة جزء معين من الموقع والغاء فهرسه جزى معين
ولذالك احببت ان افسر بعض المبادء الخاصه به
نفتح ملف تكست txt جديد ونغير اسمه الى robot.txt
ونضع به الكود التالى
كود:User-agent: * Disallow: /cgi-bin/
فى السطر الاول سمحت بدخول جميع الاسبيدرز بوضع علامه ال *
اما اذا اردت فتح الموقع لجوجل فقط مثلا فيكون الكود بالشكل التالى
كود:User-agent: Googlebot Disallow: /cgi-bin/
Googlebot هوا اسم الاسبيدر الخاص بجوجل
ثانيا المجلدات التى تمنع الاسبيدرز من دخولها وهى تدرج كما فى السطر الثانى
Disallow: /cgi-bin/ لمنعه من دخول مجلد cgi-bin
Disallow: /forum/admincp/ لمنعه من دخول لوحه تحكم المشرف العام
الان اين تضع ملف الربوت ؟
يجب ان يكون فى رئسيه الموقع على الشكل التالى
ولا يفضل وضغه داخل المجلدات الفرعيةكود:www.yorsitename.tld/robot.txt
مثل
كود:www.yorsitename.tld/forum/robot.txt
للمزيد من المعلومات اطلع على الموقع التالى
robotstxt.org
واليكم قائمه باسماء الاسبيدرز Spider Names
كود:Spider Name Search Engine AbachoBOT Abacho Acoon Acoon AESOP_com_SpiderMan Aesop ah-ha.com crawler Ah-ha appie Walhello Arachnoidea Euroseek ArchitextSpider Excite Atomz Atomz DeepIndex DeepIndex ESISmartSpider Ttravel Finder EZResult EZResults FAST-WebCrawler AlltheWeb Fido PlanetSearch Fluffy the spider SearchHippo Googlebot Google Gigabot Gigablast Gulliver Northernlight Gulper Yuntis HenryTheMiragoRobot Mirago ia_archiver Alexa KIT-Fireball Fireball LNSpiderguy Lexis-Nexis - Lycos_Spider_(T-Rex) Lycos MantraAgent LookSmart MSN Microsoft Prototype Crawler NationalDirectory-SuperSpider National Directory - Nazilla Websmostlinked - Openbot Openfind - Openfind piranha,Shark Openfind - Scooter AltaVista Scrubby Scrub The Web Slurp.so/1.0 Inktomi Slurp/2.0j Inktomi Slurp/2.0 Inktomi Slurp/3.0 Inktomi Tarantula AltaVista Teoma_agent1 Teoma UK Searcher Spider UKSearcher - WebCrawler WebCrawler - Winona WhatUSeek ZyBorg Wisenut
كلمه اخيره لاصحاب شركات الاستضافه
يفضل وضع ملف robot.txt داخل Skeleton Directory ليتم اضافته عند انشاء مواقع جديد على الخادم اعتقد انها افضل الطرق
تحياتى للجميع
وفى انتظار التواصل