ما الحكمة من استبعاد كل هذي الروبوتات في سوالف ؟ توجد طريقة افضل على ما اعتقد - robot

[هورنت]

السلام عليكم ورحمة الله وبركاته

دخلت قبل قليل الى ملف robots.txt الخاص بسوالف :

http://www.swalif.net/robots.txt

ووجدت ان اغلب الروبوتات تم منعها من ارشفة الموقع !!

طيب توجد طريقة اعتقد اسهل مما تم عمله في سوالف , مثال :

User-agent: Google
Disallow:

User-agent: *
Disallow: / 

وفي المثال يكون الوضع السماح لروبوت قوقل فقط بأرشفة الموقع , اما بقية الروبوتات يتم منعها

ما رأيكم ؟

[رقيق المشاعر]

يمكن عشان مايصير ضغط

لانهم ضامنين الارشفة عن طريق السيو

[هورنت]

اخوي رقيق المشاعر

لا دخل للضغط بالموضوع هنا الله يسلمك !!

وبخصوص السيو ( اعتقد تقصد ) vbseo , وظيفته فقط تحسين المنتدى لمحركات البحث لا اكثر

انا كان سؤالي فقط : لماذا تم عمل هذي الطريقة في سوالف ؟

وقد قمت بتوضيح الطريقة المتعارف عليها في المثال !!

هذا ما اعرفه ومتعارف عليه بخصوص ملف robots.txt

مثال من موقع ام اس ان : http://www.msn.com/robots.txt

شاهد كيف يخبر محركات البحث جميعها ( ولم يذكر روبت محدد بالاسم ) بعدم ارشفة الاقسام الموضوعة في الملف


تحياتي

[ميادين]

انا اتوقع والله اعلم انها تسهل عملية الارشفة في قوقل بدون استخدام الملف وتسهل عملية البحث في موقع سوالف سوفت وبسرعة

[ma3hd]

سوالف ليس مانعه روبوتات الأرشفة كلها دقق مرة اخري فى اسماء الربوتات و انت هتعرف انها خاصة لبرامج تجميع الأيميلات و تجميع المحتوي مع بعض ربوتات غير مفيدة مثل الأخير اعتقد لمحرك يابانى اما الأمر الذى كتبته فى مشاركتك الأولى فيسمنع بوتات الياهو و اللايف و اليسكا و غيرها و سيسمح لجوجل فقط

[AboAyoob]

أخوي حربي

بالطريقة التي وضعتها سوف تؤدي إلى حالتين
الأولى / أنه ليس جميع ربوتات قوقل تحمل نفس الاسم
فهذه الطريقة سوف تمنع العديد من روبوتات قوقل من الدخول

أيضاً يمكن أن تمنع جميع الروبوتات بالعالم ومحركات البحث سواء القديمة أو التي سوف تستجد من دخول موقعك
أنه يوجد روبوتات لياهو و msn و ask و all-the-web واليكسا وغيرها

لكن في طريقة سوالف
تم منع (ماتعرف عليه حتى الان) من الروبوتات التي يعرف أنها مخربه أو (تعمل سبام)
: :

[AboAyoob]

ويمكن مراجعة الموقع الرسمي robots.txt

The Web Robots Pages

وأيضاً
robots.txt usage and examples

[هورنت]

سوالف ليس مانعه روبوتات الأرشفة كلها دقق مرة اخري فى اسماء الربوتات و انت هتعرف انها خاصة لبرامج تجميع الأيميلات و تجميع المحتوي مع بعض ربوتات غير مفيدة مثل الأخير اعتقد لمحرك يابانى اما الأمر الذى كتبته فى مشاركتك الأولى فيسمنع بوتات الياهو و اللايف و اليسكا و غيرها و سيسمح لجوجل فقط

أخوي حربي

بالطريقة التي وضعتها سوف تؤدي إلى حالتين
الأولى / أنه ليس جميع ربوتات قوقل تحمل نفس الاسم
فهذه الطريقة سوف تمنع العديد من روبوتات قوقل من الدخول

أيضاً يمكن أن تمنع جميع الروبوتات بالعالم ومحركات البحث سواء القديمة أو التي سوف تستجد من دخول موقعك
أنه يوجد روبوتات لياهو و msn و ask و all-the-web واليكسا وغيرها

لكن في طريقة سوالف
تم منع (ماتعرف عليه حتى الان) من الروبوتات التي يعرف أنها مخربه أو (تعمل سبام)
: :

انا ذكرت بالمثال السابق تم منع جميع الروبوتات ماعدا قوقل ,, اذا لم تم وضع اسامي الروبوتات واحد واحد !!

في المثال فقط قوقل المخول بالارشفة , وتستطيع ان تستثني اي روبوت اخر مثلا ياهو Slurp او غيرها ,,

[هورنت]

أخوي حربي

بالطريقة التي وضعتها سوف تؤدي إلى حالتين
الأولى / أنه ليس جميع ربوتات قوقل تحمل نفس الاسم
فهذه الطريقة سوف تمنع العديد من روبوتات قوقل من الدخول

أيضاً يمكن أن تمنع جميع الروبوتات بالعالم ومحركات البحث سواء القديمة أو التي سوف تستجد من دخول موقعك
أنه يوجد روبوتات لياهو و msn و ask و all-the-web واليكسا وغيرها

لكن في طريقة سوالف
تم منع (ماتعرف عليه حتى الان) من الروبوتات التي يعرف أنها مخربه أو (تعمل سبام)
: :

من ادوات قوقل لأصحاب الموقع تستطيع السماح لما تريد من روبوتات قوقل المنوعة ,,

وتم الرد بطريقة السماح لروبوت معين اضافة الى قوقل

تحياتي

[هورنت]

ويمكن مراجعة الموقع الرسمي robots.txt

The Web Robots Pages

وأيضاً
robots.txt usage and examples

شاهد بنفسك انت الموقع الرسمي الذي وضعته , واحكم على ملف الروبت الخاص به :

http://www.robotstxt.org/robots.txt

تحياتي

[AboAyoob]

شاهد بنفسك انت الموقع الرسمي الذي وضعته , واحكم على ملف الروبت الخاص به :

http://www.robotstxt.org/robots.txt

تحياتي

صحيح في الموقع الرسمي منعوا 3 روبوتات

لأن هذا موقع رسمي ولا يوجد به:
أيميلات مثل المنتديات
لا يوجد به ملفات مضغوطة أما مقرصنة أو كراكات مثل المنتديات
لا يوجد به برامج عليها حقوق مثل المنتديات

لذلك هم ليسوا بحاجة الى منع هذه الروبوتات


الروبوتات كثيرة ومتنوعة
بعضها يختلس الايميلات والبعض يأخذ كلمات المرور
والبعض يبحث عن الرامج المقرصنة وهكذا

كان موقع متخصص قرأة فيه كل روبوت و ظيفته
وتقريباً هو اللي أصدر هذه اللائحة
سوف ابحث عنه

وفي هذا الموقع بعض المعلومات
robots.txt generator - Unsafe robots list

لمن اراد ان يعمل robots.txt

Yellowpipe - robots.txt generator, create your own robots.txt


http://www.codestyle.org/robots.txt
http://www.picoloko.com/robots_bak.txt

[هورنت]

ممتاز اخوي AboAyoob ,,

معلومات مفيدة حقيقة الي تم الحديث عنها

اشكرك من القلب

تحياتي

[styl3rs]

جميل !

الفكرة التي تعمل عليها سوالف في ملف robots واضحة وهي

إسمح لجميع الروبوتات بالدخول إلا الذي عرف أنه يضر ...

وطريقتك أخي صاحب الموضوع شعارها

إمنع كل الروبوتات إلا الذي عرف أنه ينفع ... (وهنا قد تخسر الإستفادة من روبتات جديدة نافعة)

والأول هو الصحيح

[هورنت]

جميل !

الفكرة التي تعمل عليها سوالف في ملف robots واضحة وهي

إسمح لجميع الروبوتات بالدخول إلا الذي عرف أنه يضر ...

وطريقتك أخي صاحب الموضوع شعارها

إمنع كل الروبوتات إلا الذي عرف أنه ينفع ... (وهنا قد تخسر الإستفادة من روبتات جديدة نافعة)

والأول هو الصحيح

وجهة نظر احترمها اخوي ,, ولكن لا اعتقد ان الكثير يستخدم فكرة سوالف ,, كما تعتقد انها صحيحة

شاهد مثلا ترايدنت : http://www.traidnt.net/robots.txt

ويوجد الكثير من المواقع الاجنبية المشهورة ( منتديات وغيرها ) لا تتبع نفس اسلوب سوالف ,,

شاهد هذا الاسلوب : http://digg.com/robots.txt

ويوجد ايضا مواقع نفس سوالف !!

شاهد هنا ( تقريبا ) مشابه : http://www.webmaster-talk.com/robots.txt

تحياتي

[AboAyoob]

ويوجد ايضا مواقع نفس سوالف !!

تحياتي

بالمناسبة
robots ليس لمنع أو السماح للروبوتات من دخول موقعك فقط

ولكن يوجد له مهام مختلفة وبعضها يمكن أن يستجد

مثلا - لو سمحت لربوت (قوقل)
فليس من الحكمة أن تسمح له بالدخول لجميع الأدلة في موقعك

مثلاً (وليس حصراً)
يجب أن تمنعه من دخول دليل (admincp) في المنتديات
يجب أن تمنعة من دخول دليل (includes) في بعض السكربتات

يجب أن تمنع عليه من فهرسة ملفات مثل config.php
وهكذا

كذلك لو كان الموقع بع مكتبة صور 4images
فأن ملف robots يجب أن يختلف فيما لوكان الموقع مكون من مكتبة coppermin أو أي مكتبة أخرى

كذلك لوكان الموقع مكون فقط من سكربت ورردبرس
يجب أن يختلف عن لوكان الموقع به منتدى و مجلة نيوك
وهكذا