عناكب عناكبYahoo! Slurp دمرت موقعي

bilba · 08-08-2007, 08:26 PM

السلام عليكم

اخواني منذ شهر وعناكب الياهو وجوجل متواجده بالمنتدى والموقع بغزاره
تصل الى اكثر من 200 او 300 بوت وهذا قاعد يسبب لي لود قوي جدا وتوقف mysql وخطا بقواعد البيانات وايقاف السيرفر

انا مركب هاك sitemap لقوقل وبوتات قوقل تدخل قليلة لكن عناكب عناكبYahoo! Slurp متواجده
24 ساعه بغزارة لدي وكل كم ساعه يصير لود بالسيرفر وخطأ بقاعدة البيانات

حاولت اعطل اغلب الروابط الغير مهمه من ملف robot.txt لكن بدون فائدة

ما الحل يا اخوان

سلطان الجالي · 08-08-2007, 10:58 PM

اذا كنت مستغني عن محرك البحث ياهو انسخ اي بي البوت واعمل له منع من لوحة التحكم سيبنل

عبدالرحمن العنكبوتي · 08-08-2007, 11:18 PM

استخدم

كود:

User-Agent: slurp
Disallow:/

bilba · 09-08-2007, 12:08 AM

إقتباس:

User-agent: *
Disallow: /board/calendar.php
Disallow: /board/faq.php
Disallow: /board/register.php
Disallow: /board/attachment.php
Disallow: /board/subscription.php
Disallow: /board/payments.php
Disallow: /board/private.php
Disallow: /board/sendmessage.php
Disallow: /board/showgroups.php
Disallow: /board/reputation.php
Disallow: /board/report.php
Disallow: /board/threadrate.php
Disallow: /board/newthread.php
Disallow: /board/showpost.php
Disallow: /board/search.php
Disallow: /board/newreply.php
Disallow: /board/login.php
Disallow: /board/image.php
Disallow: /board/cron.php
Disallow: /board/joinrequests.php
Disallow: /board/usercp.php
Disallow: /board/printthread.php
Disallow: /board/editpost.php
Disallow: /board/profile.php
Disallow: /board/postings.php

# Forums
User-agent: *
Disallow: /board/f37.html
Disallow: /board/f38.html
Disallow: /board/f97.html

User-Agent: slurp
Disallow:/

بهذا الشكل ؟

عبدالرحمن العنكبوتي · 09-08-2007, 03:24 AM

بهالاسطر بتمنع الجميع انت

كود:

User-agent: *
Disallow: /board/calendar.php
Disallow: /board/faq.php
Disallow: /board/register.php
Disallow: /board/attachment.php
Disallow: /board/subscription.php
Disallow: /board/payments.php
Disallow: /board/private.php
Disallow: /board/sendmessage.php
Disallow: /board/showgroups.php
Disallow: /board/reputation.php
Disallow: /board/report.php
Disallow: /board/threadrate.php
Disallow: /board/newthread.php
Disallow: /board/showpost.php
Disallow: /board/search.php
Disallow: /board/newreply.php
Disallow: /board/login.php
Disallow: /board/image.php
Disallow: /board/cron.php
Disallow: /board/joinrequests.php
Disallow: /board/usercp.php
Disallow: /board/printthread.php
Disallow: /board/editpost.php
Disallow: /board/profile.php
Disallow: /board/postings.php

# Forums
User-agent: *
Disallow: /board/f37.html
Disallow: /board/f38.html
Disallow: /board/f97.html

استخدم التالي فقط لمنع عناكب الياهو من فهرسة المنتدى

كود:

User-Agent: slurp
Disallow:/board/

© بندر © · 10-08-2007, 01:23 PM

لا ياشباب ..

هناك طريقة سهله ومعتمده من الياهو نفسه لكي لاتحرم نفسك من هذا المحرك الكبير

فقط اضف هذا السطر في ملف robots.txt

User-agent: Slurp
Crawl-delay: 10

طبعا 10 = عشره ثوانٍ

يعني عناكب ياهو راح تزورك كل 10 ثواني
وانت اختار عدد الثواني الي تناسب ضغط سيرفرك

مثلاًُ لو اردت زيارتهم في اليوم مرة واحدة فقط استبدل رقم 10 الى 86400 ثانية
او 172800 ثانيه اذا رغبت في زيارتهم كل يومين فقط

مع العلم ان ارشفه الصفحات ستكون بطيئه ولكن من الناحية الاخرى لن تخسر زوار من هذا المحرك او حذف صفحاتك او تقليل اهميه موقعك ..

اتمنى انني استطعت مساعدتك ..

تحياتي لك

محترف ويب · 11-08-2007, 09:37 AM

ibtesama.comياريت تكتبلنا محتوى ملف روبوتس حيكون عامل ازاى بعد اضافة السطرين .. و اازاى عرفت ان هذة الطريقة معتمدة؟؟؟
وشكررا

© بندر © · 11-08-2007, 10:07 AM

إقتباس:

المشاركة الأصلية بواسطة محترف ويب

ibtesama.comياريت تكتبلنا محتوى ملف روبوتس حيكون عامل ازاى بعد اضافة السطرين .. و اازاى عرفت ان هذة الطريقة معتمدة؟؟؟
وشكررا

http://help.yahoo.com/l/us/yahoo/sea.../slurp-03.html

والملف راح يكون بالشكل التالي

كود:

User-agent: Slurp
Crawl-delay: 10
User-agent: *
User-agent: Googlebot-Image
# Allow Everything
Allow: /*
Disallow: /cpanle/

shababy · 17-08-2007, 06:53 PM

و إذا ماكنت تستخدم البلاك هات سيو يمكنك عمل عدى صفحات فى دوائر مفتوحة النهاية مغلقة الالتصاق html بها جميع الكلمات المفتاحية التيتى ترغب فى لظهور من خلالها فى محركات البحث و تعطي لهذه الدائرة وصلة من صفحات موقعك و من ثم تظل البوتس تدور فيا غى حلقات مفرغة

- - ثم ضع بانر كبير لصفحتك الاساسية من خلال هذه الصفحات الدائرية
فتحصل على العديد و العديد من الزوار

ولا تقم بمنع العناكب من الدخول فى هذه الصفحات من خلال اكواد الـــ disallow

ثم بعد فترة اغلق هذه الصفحات و انشى مجموعة جديدة فى موقعك

لا اقول ان هذا حل لمشكلتك بشكل نهائى هو مجرد محاولة لاستغلا الأزمة لصالحنا فقط

اما بعض الحلول الأساسية فقد تحدث عنها الاخوة فى الردود السابقة

احمد محيى الدين
Search engine optimizer
www.easyseobook.com
تعلم اشهار المواقع

المواضيع المشابهه
الموضوع	كاتب الموضوع	القسم	الردود	آخر مشاركة
انتهى الحجب عن موقعي وحقيقه المدينة بالداخل :p	m7sen	الويب والويب 2.0 والـ Semantic Web	19	09-03-2007 12:46 PM
الدرس الأول: سلسلة دروس تصميم المواقع باستخدام الCSS	isader.com	الويب والويب 2.0 والـ Semantic Web	42	10-06-2005 04:39 PM
بالله شوفوا سارق تصميم موقعي ويقولي ليش ما تكون انت اللي سارق تصميم موقعي..	mr_sultan	عروض البيع وطلبات الشراء في البرمجة والتصميم وبناء المحتوى وتبادل الاعلانات	17	31-01-2005 06:34 AM
ياناس وش قصة استضافة مملكة العرب لية يسوي فيني كذا ؟	النماي	سوالف الاستضافة	26	07-11-2004 10:01 PM

أدوات الموضوع
مشاهدة نسخة مطبوعة إرسال هذه الصفحة