النتائج 1 إلى 14 من 14

الموضوع: ملف الربوت تحت المجهر robot.txt

  1. #1
    عضو نشيط
    تاريخ التسجيل
    May 2006
    المشاركات
    229

    ملف الربوت تحت المجهر robot.txt



    السلام عليكم

    ملف الربوت هوا اولى الخطوات لاشهار موقعك فى محركات البحث
    فهو الباب الذى يطرقه الاسبيدرز قبل دخول موقعك
    فيمكنك من التحكم فى فهرسة جزء معين من الموقع والغاء فهرسه جزى معين
    ولذالك احببت ان افسر بعض المبادء الخاصه به

    نفتح ملف تكست txt جديد ونغير اسمه الى robot.txt
    ونضع به الكود التالى
    كود:
    User-agent: *
    Disallow: /cgi-bin/

    فى السطر الاول سمحت بدخول جميع الاسبيدرز بوضع علامه ال *
    اما اذا اردت فتح الموقع لجوجل فقط مثلا فيكون الكود بالشكل التالى


    كود:
    User-agent: Googlebot
    Disallow: /cgi-bin/

    Googlebot هوا اسم الاسبيدر الخاص بجوجل

    ثانيا المجلدات التى تمنع الاسبيدرز من دخولها وهى تدرج كما فى السطر الثانى
    Disallow: /cgi-bin/ لمنعه من دخول مجلد cgi-bin
    Disallow: /forum/admincp/ لمنعه من دخول لوحه تحكم المشرف العام

    الان اين تضع ملف الربوت ؟
    يجب ان يكون فى رئسيه الموقع على الشكل التالى
    كود:
    www.yorsitename.tld/robot.txt
    ولا يفضل وضغه داخل المجلدات الفرعية
    مثل
    كود:
    www.yorsitename.tld/forum/robot.txt

    للمزيد من المعلومات اطلع على الموقع التالى
    robotstxt.org

    واليكم قائمه باسماء الاسبيدرز Spider Names

    كود:
    Spider Name                      Search Engine
    AbachoBOT                        Abacho 
    Acoon                                Acoon  
    AESOP_com_SpiderMan        Aesop 
    ah-ha.com crawler                Ah-ha  
    appie                                   Walhello 
    Arachnoidea                          Euroseek
    ArchitextSpider                      Excite  
    Atomz                                   Atomz
    DeepIndex                              DeepIndex
    ESISmartSpider                      Ttravel Finder 
    EZResult                                  EZResults 
    FAST-WebCrawler                    AlltheWeb
    Fido                                          PlanetSearch 
    Fluffy the spider                         SearchHippo
    Googlebot                                  Google 
    Gigabot                                      Gigablast
    Gulliver                                      Northernlight
    Gulper                                       Yuntis
    HenryTheMiragoRobot                  Mirago 
    ia_archiver                                  Alexa
    KIT-Fireball                                 Fireball 
    LNSpiderguy                                Lexis-Nexis - 
    Lycos_Spider_(T-Rex)                  Lycos
    MantraAgent                               LookSmart
    MSN                                           Microsoft Prototype Crawler
    NationalDirectory-SuperSpider       National Directory - 
    Nazilla                                         Websmostlinked - 
    Openbot                                      Openfind - 
    Openfind  piranha,Shark                Openfind - 
    Scooter                                      AltaVista
    Scrubby                                      Scrub The Web 
    Slurp.so/1.0                                Inktomi
    Slurp/2.0j                                   Inktomi
    Slurp/2.0                                    Inktomi
    Slurp/3.0                                    Inktomi
    Tarantula                                  AltaVista
    Teoma_agent1                         Teoma 
    UK Searcher Spider                  UKSearcher - 
    WebCrawler                            WebCrawler - 
    Winona                                  WhatUSeek
    ZyBorg                                  Wisenut

    كلمه اخيره لاصحاب شركات الاستضافه
    يفضل وضع ملف robot.txt داخل Skeleton Directory ليتم اضافته عند انشاء مواقع جديد على الخادم اعتقد انها افضل الطرق

    تحياتى للجميع
    وفى انتظار التواصل







  2. #2
    عضو نشيط
    تاريخ التسجيل
    Sep 2006
    المشاركات
    126


    بسم الله الرحمن الرحيم

    ألف شكر ياوائل علي الموضوع المهم ده

    لأن فعلا الروبوت من أهم الوسائل لنشر صفحات المواقع في محركات البحث

    .... وبشكل خاص انا زعلان منك ياوائل لأني مش شايفك أونلاين من فترة طويلة أوي ووقت لما أشوفك يكون في رد علي موضوعك

    واتمني تدخل اونلاين دلوقتي لأني عاوز اشوفك

    وعذرا لأعضاء سوالف عن الكلام الخاص للأخ وائل لأني احتاجه بشكل خاص

    تحياااتي






  3. #3
    عضو فعال
    تاريخ التسجيل
    Sep 2004
    المشاركات
    1,361


    وعليكم السلام ورحمة الله وبركاته ..

    جزاك الله خيرا اخي علي ما قدمته لنا من معلومات مفيده عن هذا الملف السحري
    هذه بعض الاضافات البسيطه لاثراء الموضوع

    اولا هذه اداة للتحقق من صياغة هذا الملف والتاكد من خلوه من الاخطاء
    http://tool.motoricerca.info/robots-checker.phtml

    كل ماعليك هو كتابة رابط الملف المرفوع علي موقعك والضغط علي Check

    ثانيا : عند كتابة امر Disallow يجب ان نبدأ اسم الملف او المجلد بعلامة السلاش /

    ثالثا : من اهم فوائد هذا الملف امكانية منع روبوتات السبام والشركات الدعائية من التوغل في موقعك
    قم باضافة هذه السابايدرز الي ملف robots.txt
    كود:
    User-agent: WebZip 
    Disallow: / 
    
    User-agent: larbin 
    Disallow: / 
    
    User-agent: b2w/0.1 
    Disallow: / 
    
    User-agent: Copernic 
    Disallow: / 
    
    User-agent: psbot 
    Disallow: / 
    
    User-agent: Python-urllib 
    Disallow: / 
    
    User-agent: NetMechanic 
    Disallow: / 
    
    User-agent: URL_Spider_Pro 
    Disallow: / 
    
    User-agent: CherryPicker 
    Disallow: / 
    
    User-agent: EmailCollector 
    Disallow: / 
    
    User-agent: EmailSiphon 
    Disallow: / 
    
    User-agent: WebBandit 
    Disallow: / 
    
    User-agent: EmailWolf 
    Disallow: / 
    
    User-agent: ExtractorPro 
    Disallow: / 
    
    User-agent: CopyRightCheck 
    Disallow: / 
    
    User-agent: Crescent 
    Disallow: / 
    
    User-agent: SiteSnagger 
    Disallow: / 
    
    User-agent: ProWebWalker 
    Disallow: / 
    
    User-agent: CheeseBot 
    Disallow: / 
    
    User-agent: LNSpiderguy 
    Disallow: / 
    
    User-agent: Alexibot 
    Disallow: / 
    
    User-agent: Teleport 
    Disallow: / 
    
    User-agent: TeleportPro 
    Disallow: / 
    
    User-agent: MIIxpc 
    Disallow: / 
    
    User-agent: Telesoft 
    Disallow: / 
    
    User-agent: Website Quester 
    Disallow: / 
    
    User-agent: WebZip 
    Disallow: / 
    
    User-agent: moget/2.1 
    Disallow: / 
    
    User-agent: WebZip/4.0 
    Disallow: / 
    
    User-agent: WebStripper 
    Disallow: / 
    
    User-agent: WebSauger 
    Disallow: / 
    
    User-agent: WebCopier 
    Disallow: / 
    
    User-agent: NetAnts 
    Disallow: / 
    
    User-agent: Mister PiX 
    Disallow: / 
    
    User-agent: WebAuto 
    Disallow: / 
    
    User-agent: TheNomad 
    Disallow: / 
    
    User-agent: WWW-Collector-E 
    Disallow: / 
    
    User-agent: RMA 
    Disallow: / 
    
    User-agent: libWeb/clsHTTP 
    Disallow: / 
    
    User-agent: asterias 
    Disallow: / 
    
    User-agent: httplib 
    Disallow: / 
    
    User-agent: turingos 
    Disallow: / 
    
    User-agent: spanner 
    Disallow: / 
    
    User-agent: InfoNaviRobot 
    Disallow: / 
    
    User-agent: Harvest/1.5 
    Disallow: / 
    
    User-agent: Bullseye/1.0 
    Disallow: / 
    
    User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95) 
    Disallow: / 
    
    User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0 
    Disallow: / 
    
    User-agent: CherryPickerSE/1.0 
    Disallow: / 
    
    User-agent: CherryPickerElite/1.0 
    Disallow: / 
    
    User-agent: WebBandit/3.50 
    Disallow: / 
    
    User-agent: NICErsPRO 
    Disallow: / 
    
    User-agent: Microsoft URL Control - 5.01.4511 
    Disallow: / 
    
    User-agent: DittoSpyder 
    Disallow: / 
    
    User-agent: Foobot 
    Disallow: / 
    
    User-agent: SpankBot 
    Disallow: / 
    
    User-agent: BotALot 
    Disallow: / 
    
    User-agent: lwp-trivial/1.34 
    Disallow: / 
    
    User-agent: lwp-trivial 
    Disallow: / 
    
    User-agent: BunnySlippers 
    Disallow: / 
    
    User-agent: Microsoft URL Control - 6.00.8169 
    Disallow: / 
    
    User-agent: URLy Warning 
    Disallow: / 
    
    User-agent: Wget/1.6 
    Disallow: / 
    
    User-agent: Wget/1.5.3 
    Disallow: / 
    
    User-agent: Wget 
    Disallow: / 
    
    User-agent: LinkWalker 
    Disallow: / 
    
    User-agent: cosmos 
    Disallow: / 
    
    User-agent: moget 
    Disallow: / 
    
    User-agent: hloader 
    Disallow: / 
    
    User-agent: humanlinks 
    Disallow: / 
    
    User-agent: LinkextractorPro 
    Disallow: / 
    
    User-agent: Offline Explorer 
    Disallow: / 
    
    User-agent: Mata Hari 
    Disallow: / 
    
    User-agent: LexiBot 
    Disallow: / 
    
    User-agent: Web Image Collector 
    Disallow: / 
    
    User-agent: The Intraformant 
    Disallow: / 
    
    User-agent: True_Robot/1.0 
    Disallow: / 
    
    User-agent: True_Robot 
    Disallow: / 
    
    User-agent: BlowFish/1.0 
    Disallow: / 
    
    User-agent: JennyBot 
    Disallow: / 
    
    User-agent: MIIxpc/4.2 
    Disallow: / 
    
    User-agent: BuiltBotTough 
    Disallow: / 
    
    User-agent: ProPowerBot/2.14 
    Disallow: / 
    
    User-agent: BackDoorBot/1.0 
    Disallow: / 
    
    User-agent: toCrawl/UrlDispatcher 
    Disallow: / 
    
    User-agent: suzuran 
    Disallow: / 
    
    User-agent: TightTwatBot 
    Disallow: / 
    
    User-agent: VCI WebViewer VCI WebViewer Win32 
    Disallow: / 
    
    User-agent: VCI 
    Disallow: / 
    
    User-agent: Szukacz/1.4 
    Disallow: / 
    
    User-agent: Openfind data gatherer 
    Disallow: / 
    
    User-agent: Openfind 
    Disallow: / 
    
    User-agent: Xenu's Link Sleuth 1.1c 
    Disallow: / 
    
    User-agent: Xenu's 
    Disallow: / 
    
    User-agent: Zeus 
    Disallow: / 
    
    User-agent: RepoMonkey Bait & Tackle/v1.01 
    Disallow: / 
    
    User-agent: RepoMonkey 
    Disallow: / 
    
    User-agent: Microsoft URL Control 
    Disallow: / 
    
    User-agent: Openbot 
    Disallow: / 
    
    User-agent: URL Control 
    Disallow: / 
    
    User-agent: Zeus Link Scout 
    Disallow: / 
    
    User-agent: Zeus 32297 Webster Pro V2.9 Win32 
    Disallow: / 
    
    User-agent: Webster Pro 
    Disallow: / 
    
    User-agent: EroCrawler 
    Disallow: / 
    
    User-agent: LinkScan/8.1a Unix 
    Disallow: / 
    
    User-agent: Keyword Density/0.9 
    Disallow: / 
    
    User-agent: Kenjin Spider 
    Disallow: / 
    
    User-agent: Iron33/1.0.2 
    Disallow: / 
    
    User-agent: Bookmark search tool 
    Disallow: / 
    
    User-agent: GetRight/4.2 
    Disallow: / 
    
    User-agent: FairAd Client 
    Disallow: / 
    
    User-agent: Gaisbot 
    Disallow: / 
    
    User-agent: Aqua_Products 
    Disallow: / 
    
    User-agent: Radiation Retriever 1.1 
    Disallow: / 
    
    User-agent: Flaming AttackBot 
    Disallow: / 
    
    User-agent: Makbot
    Disallow: /







  4. #4
    عضو سوبر نشيط
    تاريخ التسجيل
    Sep 2006
    المشاركات
    626


    بارك الله فيك waelbeso , Strange Man





    __________________
    مواضيع سوالف اليوم
    قبل التعامل مع اي شخص, انظر ملفه الشخصي.
    كتاب

  5. #5
    عضو نشيط
    تاريخ التسجيل
    Nov 2005
    المشاركات
    275


    يعطيك العافيه والله ..

    والله فكره حلوه تريحك من المشاكل ..

    بس هل هي ظروريه لاني والله ماشفت منها مشاكل






  6. #6
    عضو سوبر نشيط
    تاريخ التسجيل
    Apr 2004
    المشاركات
    841


    نعم اكيد هي ضرورية لمحركات البحث

    ومنذ بداية موقعي اقوم بوضعها في الموقع و المنتدى

    تسلم يا وائل على التوضيح ، وتسلم يا strange man على الاضافة الجميلة





    __________________
    Egypt Museum - متحف مصر، موقع يهتم بعلم المصريات وتاريخ وثقافة وفنون الحضارة المصرية القديمة.

  7. #7


    بارك الله بكم جميعاً

    ....





    __________________
    مهندس أحمد
    إتصالات وإلكترونيات
    مسلم عربي فلسطيني
    I Allah

    مرئية فلسطين على اليوتيوب

    خلجات قلب ....

  8. #8
    عضو فعال جدا
    تاريخ التسجيل
    Oct 2003
    المشاركات
    2,775


    درس جميل و محتواه نادر ماتحصل اهتمام له
    شكرا لك





    __________________
    a l g a r e e m

  9. #9


    موضوع جميل ... أتمنى أن يجد أثره في المواقع العربية ...


    أحب أن أشير الى أن لكل موقع عدد معين من الصفحات يأرشفها جوجل يومياً ... اذا كنت ترى أن المنتدى عندك نشيط وأنه يحوي مواضيع يبحث عنها الناس كثيراً فامنع جوجل من أن يأرشف غيره ... حتى ترتفع رتبة موقعك ... وبعدها تفتح الأقسام الثانية ...


    أكرر شكري ... والسلام عليكم






  10. #10
    عضو نشيط
    تاريخ التسجيل
    May 2006
    المشاركات
    229


    plus space
    للاسف اضفت نظام حمايه فى الشركه لمنع الموظفين من فتح المسنجر وكنت انا اول المتضررين ولكن لنا لقائ قريبا

    ------------------
    strange man
    شكرا على الاضافات الثريه
    ويارب ديما نكمل بعض

    ----------------
    ibtesama.com
    بارك الله فيك

    ----------------
    hagryyy
    ضروريه لتتحكم فى العناكم كما ترى
    تجعله يارشف ما تشاء ويبتعد عن ما تشاء

    ---------------------
    العرب للجميع
    وضعها فى رئسيه الموقع يكفى
    الا اذا كان المنتدى يعمل على نطاق فرعى مثل
    http://forum.zetawy.com

    ---------------------
    مهندس أحمد
    وبارك فيك يا جميل

    --------------------
    الغريم دوت كوم
    الشكر لله

    --------------------
    مرشوش بفليت
    وانا ايضا اتمنى ذالك
    وشكرا على الاضافه

    وفى انتظار المذيد من التعليقات






  11. #11
    عضو سوبر نشيط
    تاريخ التسجيل
    Apr 2004
    المشاركات
    841


    وهذا موضوع حديث و جميل لعمل ملفات robots.txt ايضاً

    http://www.swalif.net/softs/showthread.php?t=187751





    __________________
    Egypt Museum - متحف مصر، موقع يهتم بعلم المصريات وتاريخ وثقافة وفنون الحضارة المصرية القديمة.

  12. #12
    عضو نشيط
    تاريخ التسجيل
    May 2006
    المشاركات
    229


    اقتباس المشاركة الأصلية كتبت بواسطة العرب للجميع
    وهذا موضوع حديث و جميل لعمل ملفات robots.txt ايضاً

    http://www.swalif.net/softs/showthread.php?t=187751
    شكرا العرب للجميع
    الموضوع دا هو السبب فى الشرح
    ممتاز بس بعض الاخوان لا يعرف ما هو ال robot.txt اصلا






  13. #13
    عضو سوبر نشيط
    تاريخ التسجيل
    Apr 2004
    المشاركات
    841


    والله يا اخي بتكون مهمتنا بهذا المنتدى هو تبادل الخبرات والآراء ... توعية وثقيف اصحاب المواقع

    فشئ جميل ان الواحد يدل على الخير ويوعي الناس به

    أرق تحية لك

    العرب للجميع





    __________________
    Egypt Museum - متحف مصر، موقع يهتم بعلم المصريات وتاريخ وثقافة وفنون الحضارة المصرية القديمة.

  14. #14
    عضو فعال
    تاريخ التسجيل
    Sep 2007
    المشاركات
    1,569


    شكراً





    __________________
    My twitter - حراج
    لا تنس ذكر الله | سبحان الله و الحمد لله ولا إله ألا الله و الله أكبر






ضوابط المشاركة

  • لا تستطيع إضافة مواضيع جديدة
  • لا تستطيع الرد على المواضيع
  • لا تستطيع إرفاق ملفات
  • لا تستطيع تعديل مشاركاتك
  •  

أضف موقعك هنا| اخبار السيارات | حراج | شقق للايجار في الكويت | بيوت للبيع في الكويت | دليل الكويت العقاري | مقروء | شركة كشف تسربات المياه | شركة عزل اسطح بالرياض | عزل فوم بالرياض| عزل اسطح بالرياض | كشف تسربات المياة بالرياض | شركة عزل اسطح بالرياض