عناكب عناكبYahoo! Slurp دمرت موقعي

[bilba]

السلام عليكم

اخواني منذ شهر وعناكب الياهو وجوجل متواجده بالمنتدى والموقع بغزاره
تصل الى اكثر من 200 او 300 بوت وهذا قاعد يسبب لي لود قوي جدا وتوقف mysql وخطا بقواعد البيانات وايقاف السيرفر

انا مركب هاك sitemap لقوقل وبوتات قوقل تدخل قليلة لكن عناكب عناكبYahoo! Slurp متواجده
24 ساعه بغزارة لدي وكل كم ساعه يصير لود بالسيرفر وخطأ بقاعدة البيانات

حاولت اعطل اغلب الروابط الغير مهمه من ملف robot.txt لكن بدون فائدة

ما الحل يا اخوان

[سلطان الجالي]

اذا كنت مستغني عن محرك البحث ياهو انسخ اي بي البوت واعمل له منع من لوحة التحكم سيبنل

[عبدالرحمن العنكبوتي]

استخدم

User-Agent: slurp
Disallow:/

[bilba]

User-agent: *
Disallow: /board/calendar.php
Disallow: /board/faq.php
Disallow: /board/register.php
Disallow: /board/attachment.php
Disallow: /board/subscription.php
Disallow: /board/payments.php
Disallow: /board/private.php
Disallow: /board/sendmessage.php
Disallow: /board/showgroups.php
Disallow: /board/reputation.php
Disallow: /board/report.php
Disallow: /board/threadrate.php
Disallow: /board/newthread.php
Disallow: /board/showpost.php
Disallow: /board/search.php
Disallow: /board/newreply.php
Disallow: /board/login.php
Disallow: /board/image.php
Disallow: /board/cron.php
Disallow: /board/joinrequests.php
Disallow: /board/usercp.php
Disallow: /board/printthread.php
Disallow: /board/editpost.php
Disallow: /board/profile.php
Disallow: /board/postings.php

# Forums
User-agent: *
Disallow: /board/f37.html
Disallow: /board/f38.html
Disallow: /board/f97.html

User-Agent: slurp
Disallow:/

بهذا الشكل ؟

[عبدالرحمن العنكبوتي]

بهالاسطر بتمنع الجميع انت

User-agent: *
Disallow: /board/calendar.php
Disallow: /board/faq.php
Disallow: /board/register.php
Disallow: /board/attachment.php
Disallow: /board/subscription.php
Disallow: /board/payments.php
Disallow: /board/private.php
Disallow: /board/sendmessage.php
Disallow: /board/showgroups.php
Disallow: /board/reputation.php
Disallow: /board/report.php
Disallow: /board/threadrate.php
Disallow: /board/newthread.php
Disallow: /board/showpost.php
Disallow: /board/search.php
Disallow: /board/newreply.php
Disallow: /board/login.php
Disallow: /board/image.php
Disallow: /board/cron.php
Disallow: /board/joinrequests.php
Disallow: /board/usercp.php
Disallow: /board/printthread.php
Disallow: /board/editpost.php
Disallow: /board/profile.php
Disallow: /board/postings.php

# Forums
User-agent: *
Disallow: /board/f37.html
Disallow: /board/f38.html
Disallow: /board/f97.html

استخدم التالي فقط لمنع عناكب الياهو من فهرسة المنتدى

User-Agent: slurp
Disallow:/board/

[© بندر ©]

لا ياشباب ..

هناك طريقة سهله ومعتمده من الياهو نفسه لكي لاتحرم نفسك من هذا المحرك الكبير

فقط اضف هذا السطر في ملف robots.txt

User-agent: Slurp
Crawl-delay: 10

طبعا 10 = عشره ثوانٍ

يعني عناكب ياهو راح تزورك كل 10 ثواني
وانت اختار عدد الثواني الي تناسب ضغط سيرفرك

مثلاًُ لو اردت زيارتهم في اليوم مرة واحدة فقط استبدل رقم 10 الى 86400 ثانية
او 172800 ثانيه اذا رغبت في زيارتهم كل يومين فقط

مع العلم ان ارشفه الصفحات ستكون بطيئه ولكن من الناحية الاخرى لن تخسر زوار من هذا المحرك او حذف صفحاتك او تقليل اهميه موقعك ..

اتمنى انني استطعت مساعدتك ..

تحياتي لك

[محترف ويب]

ibtesama.comياريت تكتبلنا محتوى ملف روبوتس حيكون عامل ازاى بعد اضافة السطرين .. و اازاى عرفت ان هذة الطريقة معتمدة؟؟؟
وشكررا

[© بندر ©]

ibtesama.comياريت تكتبلنا محتوى ملف روبوتس حيكون عامل ازاى بعد اضافة السطرين .. و اازاى عرفت ان هذة الطريقة معتمدة؟؟؟
وشكررا

http://help.yahoo.com/l/us/yahoo/sea.../slurp-03.html

والملف راح يكون بالشكل التالي

User-agent: Slurp
Crawl-delay: 10
User-agent: *
User-agent: Googlebot-Image
# Allow Everything
Allow: /*
Disallow: /cpanle/

[shababy]

و إذا ماكنت تستخدم البلاك هات سيو يمكنك عمل عدى صفحات فى دوائر مفتوحة النهاية مغلقة الالتصاق html بها جميع الكلمات المفتاحية التيتى ترغب فى لظهور من خلالها فى محركات البحث و تعطي لهذه الدائرة وصلة من صفحات موقعك و من ثم تظل البوتس تدور فيا غى حلقات مفرغة

- - ثم ضع بانر كبير لصفحتك الاساسية من خلال هذه الصفحات الدائرية
فتحصل على العديد و العديد من الزوار

ولا تقم بمنع العناكب من الدخول فى هذه الصفحات من خلال اكواد الـــ disallow

ثم بعد فترة اغلق هذه الصفحات و انشى مجموعة جديدة فى موقعك


لا اقول ان هذا حل لمشكلتك بشكل نهائى هو مجرد محاولة لاستغلا الأزمة لصالحنا فقط

اما بعض الحلول الأساسية فقد تحدث عنها الاخوة فى الردود السابقة


احمد محيى الدين
Search engine optimizer
www.easyseobook.com
تعلم اشهار المواقع