| |||||||
| المدوّنات | البحث | مشاركات اليوم | اجعل كافة المشاركات مقروءة |
 |
| | LinkBack | أدوات الموضوع |
| |||||
| ملف الربوت تحت المجهر robot.txt ملف الربوت هوا اولى الخطوات لاشهار موقعك فى محركات البحث فهو الباب الذى يطرقه الاسبيدرز قبل دخول موقعك فيمكنك من التحكم فى فهرسة جزء معين من الموقع والغاء فهرسه جزى معين ولذالك احببت ان افسر بعض المبادء الخاصه به نفتح ملف تكست txt جديد ونغير اسمه الى robot.txt ونضع به الكود التالى [LEFT] كود: User-agent: * Disallow: /cgi-bin/ فى السطر الاول سمحت بدخول جميع الاسبيدرز بوضع علامه ال * اما اذا اردت فتح الموقع لجوجل فقط مثلا فيكون الكود بالشكل التالى [LEFT] كود: User-agent: Googlebot Disallow: /cgi-bin/ Googlebot هوا اسم الاسبيدر الخاص بجوجل ثانيا المجلدات التى تمنع الاسبيدرز من دخولها وهى تدرج كما فى السطر الثانى Disallow: /cgi-bin/ لمنعه من دخول مجلد cgi-bin Disallow: /forum/admincp/ لمنعه من دخول لوحه تحكم المشرف العام الان اين تضع ملف الربوت ؟ يجب ان يكون فى رئسيه الموقع على الشكل التالى [LEFT] كود: www.yorsitename.tld/robot.txt ولا يفضل وضغه داخل المجلدات الفرعية مثل [LEFT] كود: www.yorsitename.tld/forum/robot.txt للمزيد من المعلومات اطلع على الموقع التالى robotstxt.org واليكم قائمه باسماء الاسبيدرز Spider Names [LEFT] كود: Spider Name Search Engine AbachoBOT Abacho Acoon Acoon AESOP_com_SpiderMan Aesop ah-ha.com crawler Ah-ha appie Walhello Arachnoidea Euroseek ArchitextSpider Excite Atomz Atomz DeepIndex DeepIndex ESISmartSpider Ttravel Finder EZResult EZResults FAST-WebCrawler AlltheWeb Fido PlanetSearch Fluffy the spider SearchHippo Googlebot Google Gigabot Gigablast Gulliver Northernlight Gulper Yuntis HenryTheMiragoRobot Mirago ia_archiver Alexa KIT-Fireball Fireball LNSpiderguy Lexis-Nexis - Lycos_Spider_(T-Rex) Lycos MantraAgent LookSmart MSN Microsoft Prototype Crawler NationalDirectory-SuperSpider National Directory - Nazilla Websmostlinked - Openbot Openfind - Openfind piranha,Shark Openfind - Scooter AltaVista Scrubby Scrub The Web Slurp.so/1.0 Inktomi Slurp/2.0j Inktomi Slurp/2.0 Inktomi Slurp/3.0 Inktomi Tarantula AltaVista Teoma_agent1 Teoma UK Searcher Spider UKSearcher - WebCrawler WebCrawler - Winona WhatUSeek ZyBorg Wisenut كلمه اخيره لاصحاب شركات الاستضافه يفضل وضع ملف robot.txt داخل Skeleton Directory ليتم اضافته عند انشاء مواقع جديد على الخادم  اعتقد انها افضل الطرقتحياتى للجميع وفى انتظار التواصل
__________________ <!-- ترجمة مواقع - ترجمه نصوص - قاموص للكلمات ترجم 3فى1 http://targem.zetawy.com --> | |||||
|
| |||||
|
بسم الله الرحمن الرحيم ألف شكر ياوائل علي الموضوع المهم ده لأن فعلا الروبوت من أهم الوسائل لنشر صفحات المواقع في محركات البحث .... وبشكل خاص انا زعلان منك ياوائل لأني مش شايفك أونلاين من فترة طويلة أوي ووقت لما أشوفك يكون في رد علي موضوعك واتمني تدخل اونلاين دلوقتي لأني عاوز اشوفك وعذرا لأعضاء سوالف عن الكلام الخاص للأخ وائل لأني احتاجه بشكل خاص تحياااتي | |||||
|
| |||||
|
وعليكم السلام ورحمة الله وبركاته .. جزاك الله خيرا اخي علي ما قدمته لنا من معلومات مفيده عن هذا الملف السحري هذه بعض الاضافات البسيطه لاثراء الموضوع اولا هذه اداة للتحقق من صياغة هذا الملف والتاكد من خلوه من الاخطاء http://tool.motoricerca.info/robots-checker.phtml كل ماعليك هو كتابة رابط الملف المرفوع علي موقعك والضغط علي Check ثانيا : عند كتابة امر Disallow يجب ان نبدأ اسم الملف او المجلد بعلامة السلاش / ثالثا : من اهم فوائد هذا الملف امكانية منع روبوتات السبام والشركات الدعائية من التوغل في موقعك قم باضافة هذه السابايدرز الي ملف robots.txt كود: User-agent: WebZip Disallow: / User-agent: larbin Disallow: / User-agent: b2w/0.1 Disallow: / User-agent: Copernic Disallow: / User-agent: psbot Disallow: / User-agent: Python-urllib Disallow: / User-agent: NetMechanic Disallow: / User-agent: URL_Spider_Pro Disallow: / User-agent: CherryPicker Disallow: / User-agent: EmailCollector Disallow: / User-agent: EmailSiphon Disallow: / User-agent: WebBandit Disallow: / User-agent: EmailWolf Disallow: / User-agent: ExtractorPro Disallow: / User-agent: CopyRightCheck Disallow: / User-agent: Crescent Disallow: / User-agent: SiteSnagger Disallow: / User-agent: ProWebWalker Disallow: / User-agent: CheeseBot Disallow: / User-agent: LNSpiderguy Disallow: / User-agent: Alexibot Disallow: / User-agent: Teleport Disallow: / User-agent: TeleportPro Disallow: / User-agent: MIIxpc Disallow: / User-agent: Telesoft Disallow: / User-agent: Website Quester Disallow: / User-agent: WebZip Disallow: / User-agent: moget/2.1 Disallow: / User-agent: WebZip/4.0 Disallow: / User-agent: WebStripper Disallow: / User-agent: WebSauger Disallow: / User-agent: WebCopier Disallow: / User-agent: NetAnts Disallow: / User-agent: Mister PiX Disallow: / User-agent: WebAuto Disallow: / User-agent: TheNomad Disallow: / User-agent: WWW-Collector-E Disallow: / User-agent: RMA Disallow: / User-agent: libWeb/clsHTTP Disallow: / User-agent: asterias Disallow: / User-agent: httplib Disallow: / User-agent: turingos Disallow: / User-agent: spanner Disallow: / User-agent: InfoNaviRobot Disallow: / User-agent: Harvest/1.5 Disallow: / User-agent: Bullseye/1.0 Disallow: / User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95) Disallow: / User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0 Disallow: / User-agent: CherryPickerSE/1.0 Disallow: / User-agent: CherryPickerElite/1.0 Disallow: / User-agent: WebBandit/3.50 Disallow: / User-agent: NICErsPRO Disallow: / User-agent: Microsoft URL Control - 5.01.4511 Disallow: / User-agent: DittoSpyder Disallow: / User-agent: Foobot Disallow: / User-agent: SpankBot Disallow: / User-agent: BotALot Disallow: / User-agent: lwp-trivial/1.34 Disallow: / User-agent: lwp-trivial Disallow: / User-agent: BunnySlippers Disallow: / User-agent: Microsoft URL Control - 6.00.8169 Disallow: / User-agent: URLy Warning Disallow: / User-agent: Wget/1.6 Disallow: / User-agent: Wget/1.5.3 Disallow: / User-agent: Wget Disallow: / User-agent: LinkWalker Disallow: / User-agent: cosmos Disallow: / User-agent: moget Disallow: / User-agent: hloader Disallow: / User-agent: humanlinks Disallow: / User-agent: LinkextractorPro Disallow: / User-agent: Offline Explorer Disallow: / User-agent: Mata Hari Disallow: / User-agent: LexiBot Disallow: / User-agent: Web Image Collector Disallow: / User-agent: The Intraformant Disallow: / User-agent: True_Robot/1.0 Disallow: / User-agent: True_Robot Disallow: / User-agent: BlowFish/1.0 Disallow: / User-agent: JennyBot Disallow: / User-agent: MIIxpc/4.2 Disallow: / User-agent: BuiltBotTough Disallow: / User-agent: ProPowerBot/2.14 Disallow: / User-agent: BackDoorBot/1.0 Disallow: / User-agent: toCrawl/UrlDispatcher Disallow: / User-agent: suzuran Disallow: / User-agent: TightTwatBot Disallow: / User-agent: VCI WebViewer VCI WebViewer Win32 Disallow: / User-agent: VCI Disallow: / User-agent: Szukacz/1.4 Disallow: / User-agent: Openfind data gatherer Disallow: / User-agent: Openfind Disallow: / User-agent: Xenu's Link Sleuth 1.1c Disallow: / User-agent: Xenu's Disallow: / User-agent: Zeus Disallow: / User-agent: RepoMonkey Bait & Tackle/v1.01 Disallow: / User-agent: RepoMonkey Disallow: / User-agent: Microsoft URL Control Disallow: / User-agent: Openbot Disallow: / User-agent: URL Control Disallow: / User-agent: Zeus Link Scout Disallow: / User-agent: Zeus 32297 Webster Pro V2.9 Win32 Disallow: / User-agent: Webster Pro Disallow: / User-agent: EroCrawler Disallow: / User-agent: LinkScan/8.1a Unix Disallow: / User-agent: Keyword Density/0.9 Disallow: / User-agent: Kenjin Spider Disallow: / User-agent: Iron33/1.0.2 Disallow: / User-agent: Bookmark search tool Disallow: / User-agent: GetRight/4.2 Disallow: / User-agent: FairAd Client Disallow: / User-agent: Gaisbot Disallow: / User-agent: Aqua_Products Disallow: / User-agent: Radiation Retriever 1.1 Disallow: / User-agent: Flaming AttackBot Disallow: / User-agent: Makbot Disallow: / | |||||
|
| |||||
|
نعم اكيد هي ضرورية لمحركات البحث ومنذ بداية موقعي اقوم بوضعها في الموقع و المنتدى تسلم يا وائل على التوضيح ، وتسلم يا strange man على الاضافة الجميلة
__________________ العرب للجميع - مجتمع عربي مفتوح MSN: admin@arab2all.com قريباً, مفاجأة الدعم الفني العربي | |||||
|
| |||||
|
بارك الله بكم جميعاً ....
__________________ مهندس أحمد إتصالات وإلكترونيات مسلم عربي فلسطيني I♥ Allah مرئية فلسطين على اليوتيوب خلجات قلب .... | |||||
|
| |||||
|
درس جميل و محتواه نادر ماتحصل اهتمام له شكرا لك
__________________ Algareem.Com Creative Designs LayeredPoint.Com Warez Hosting === UAE - FTP WareZServer العنوان : ftp://guests.arabcream.com:8822 | |||||
|
| |||||
|
موضوع جميل ... أتمنى أن يجد أثره في المواقع العربية ... أحب أن أشير الى أن لكل موقع عدد معين من الصفحات يأرشفها جوجل يومياً ... اذا كنت ترى أن المنتدى عندك نشيط وأنه يحوي مواضيع يبحث عنها الناس كثيراً فامنع جوجل من أن يأرشف غيره ... حتى ترتفع رتبة موقعك ... وبعدها تفتح الأقسام الثانية ... أكرر شكري ... والسلام عليكم | |||||
|
| |||||
|
plus space للاسف اضفت نظام حمايه فى الشركه لمنع الموظفين من فتح المسنجر وكنت انا اول المتضررين  ولكن لنا لقائ قريبا ------------------ strange man شكرا على الاضافات الثريه ويارب ديما نكمل بعض ---------------- ibtesama.com بارك الله فيك ---------------- hagryyy ضروريه لتتحكم فى العناكم كما ترى تجعله يارشف ما تشاء ويبتعد عن ما تشاء --------------------- العرب للجميع وضعها فى رئسيه الموقع يكفى الا اذا كان المنتدى يعمل على نطاق فرعى مثل http://forum.zetawy.com --------------------- مهندس أحمد وبارك فيك يا جميل -------------------- الغريم دوت كوم الشكر لله -------------------- مرشوش بفليت وانا ايضا اتمنى ذالك وشكرا على الاضافه وفى انتظار المذيد من التعليقات
__________________ <!-- ترجمة مواقع - ترجمه نصوص - قاموص للكلمات ترجم 3فى1 http://targem.zetawy.com --> | |||||
|
| |||||
|
وهذا موضوع حديث و جميل لعمل ملفات robots.txt ايضاً http://www.swalif.net/softs/showthread.php?t=187751
__________________ العرب للجميع - مجتمع عربي مفتوح MSN: admin@arab2all.com قريباً, مفاجأة الدعم الفني العربي | |||||
|
| |||||
| اقتباس:
الموضوع دا هو السبب فى الشرح ممتاز بس بعض الاخوان لا يعرف ما هو ال robot.txt اصلا 
__________________ <!-- ترجمة مواقع - ترجمه نصوص - قاموص للكلمات ترجم 3فى1 http://targem.zetawy.com --> | |||||
|
| |||||
|
والله يا اخي بتكون مهمتنا بهذا المنتدى هو تبادل الخبرات والآراء ... توعية وثقيف اصحاب المواقع فشئ جميل ان الواحد يدل على الخير ويوعي الناس به أرق تحية لك العرب للجميع
__________________ العرب للجميع - مجتمع عربي مفتوح MSN: admin@arab2all.com قريباً, مفاجأة الدعم الفني العربي | |||||
|
|
| |
| |
| أدوات الموضوع | |
| |
