النتائج 1 إلى 11 من 11

الموضوع: ماهو robots.txt موضوع فى غاية الاهمية

  1. #1
    عضو نشيط
    تاريخ التسجيل
    May 2007
    المشاركات
    46

    ماهو robots.txt موضوع فى غاية الاهمية






    إذا كنت مسؤولاً عن موقع ويب، فقد تكون المعلومات التالية مفيدة لك. ونأمل أن تجدها مساعدة.
    http://www.aramcode.net/vb

    قم بزيارة الوصلة التالية للمزيد من التوضيح حول الكثير من الاسئلة المحيرة لمشرفي المواقع
    http://www.google.jo/intl/ar/webmasters/index.html
    برنامج Googlebot: برنامج زاحف الويب الخاص بـ Google
    برنامج Googlebot هو برنامج روبوت خاص بـ Google للزحف إلى الويب. وهو يقوم بجمع ملفات من الويب لإنشاء فهرس قابل للبحث لـ محرك بحث Google. وفي هذه الصفحة، ستجد إجابات لمعظم الأسئلة الشائعة عن كيفية عمل برنامج زاحف الويب الخاص بنا.
    <IMG height=1 width=1 border=0>
    سؤال وجواب
    1. كم عدد المرات التي سيصل فيها برنامج Googlebot إلى صفحات الويب الخاصة بي؟
    بالنسبة لمعظم المواقع؛ يجب ألاَّ يصل برنامج Googlebot إلى الموقع أكثر من مرة واحدة كل عدة ثواني في المتوسط. ومع ذلك - بسبب أعطال الشبكة - من الممكن أن يظهر المعدل أعلى قليلاً في فترات قصيرة.
    2. كيف أطالب بعدم قيام Google بالزحف إلى كل موقعي أو أجزاء من؟
    الملف robots.txt هو ملف قياسي يمكنه إخبار برنامج Googlebot بعدم تنزيل بعض أو كل المعلومات من مركز خدمة "سيرفر" الويب الخاص بك. وصيغة الملف robots.txt محددة في
    بروتوكول استبعاد الروبوت (وصلات لموقع إنجليزي). ولمعرفة التعليمات المفصلة عن كيفية منع برنامج Googlebot من الزحف إلى كل موقعك أو جزء منه، الرجاء مراجعة صفحة أوامر الإزالة الخاصة بنا. وتذكَّر أن التغييرات التي تقوم بها في ملف robots.txt الخاص بمركز الخدمة الخاص بك لن يتم نقلها على الفور إلى Google؛ وإنما سيتم اكتشافها ونقلها عند قيام برنامج Googlebot بالزحف إلى موقعك مرة تالية.
    3. يقوم برنامج Googlebot بالزحف إلى موقعي بسرعة مفرطة. فماذا أفعل؟
    الرجاء
    الاتصال بنا (وصلات لإصدار إنجليزي) وإرسال عنوان URL لموقعك ووصف تفصيلي للمشكلة. والرجاء أيضًا تضمين جزء من سجل الويب الذي يوضح مرات وصول Google حتى نتمكن من اكتشاف المشكلة بسرعة.
    4. لماذا يطلب برنامج Googlebot ملفًا يُسمى robots.txt وهو غير موجود على مركز الخدمة "سيرفر" الخاص بي؟
    الملف robots.txt هو ملف قياسي يمكنه إخبار برنامج Googlebot بعدم تنزيل بعض أو كل المعلومات من مركز خدمة "سيرفر" الويب الخاص بك. ولمزيد من المعلومات عن كيفية إنشاء ملف robots.txt؛ انظر
    بروتوكول استبعاد الروبوت (وصلات لموقع إنجليزي). إذا كنت تريد فقط منع رسائل أخطاء "الملف غير موجود" في سجل مركز خدمة الويب الخاص بك، يمكنك إنشاء ملف فارغ يسمى robots.txt.
    5. لماذا يحاول برنامج Googlebot تنزيل وصلات غير صحيحة من مركز الخدمة "سيرفر" الخاص بي؟ أو من مركز خدمة (سيرفر) غير موجود؟
    من المفترض أن الكثير من الوصلات على الويب سيتم كسرها أو إهمالها في أي وقت معين. وعندما ينشر شخص ما وصلة غير صحيحة لموقعك (ربما بسبب خطأ طباعي أو إملائي) أو يفشل في تحديث وصلات ليعكس التغييرات في مركز الخدمة الخاص بك؛ سيحاول برنامج Googlebot تنزيل وصلة غير صحيحة من موقعك. وهذا أيضًا يفسر سبب وجود طلبات توصُّل في جهاز ليس أصلاً مركز خدمة ويب.
    6. لماذا يقوم برنامج Googlebot بتنزيل معلومات من مركز خدمة (سيرفر) الويب "السري" الخاص بنا؟
    إنه من المستحيل تقريبًا أن تحتفظ بسرية مركز خدمة (سيرفر) ويب بعدم نشر أي وصلات له. فبمجرد أن يتبع شخص ما وصلة من مركز الخدمة "السري" الخاص بك إلى مركز خدمة ويب آخر، قد يظهر عنوان URL "السري" الخاص بك في علامة الإحالة ويتم تخزينه ونشره بواسطة مركز خدمة الويب الآخر في سجل الإحالة الخاص بهذا المركز. ولذلك؛ فإذا كان هناك وصلة لمركز خدمة الويب "السري" الخاص بك أو لصفحة على الويب في أي مكان؛ فمن المحتمل أن يعثر عليها برنامج Googlebot وغيره من برامج زحف الويب الأخرى.
    7. لماذا لا يتبع برنامج Googlebot ملف robots.txt الخاص بي؟
    لحفظ سعة النطاق؛ يقوم برنامج Googlebot بتنزيل ملف robots.txt فقط مرة واحدة كل يوم أو عندما نقوم بجلب صفحات عديدة من مركز الخدمة. ولذا، قد يأخذ برنامج Googlebot برُهة من الوقت لمعرفة التغييرات الحادثة في ملف robots.txt الخاص بك. وأيضًا؛ يتم توزيع برنامج Googlebot على أجهزة متعددة. يحتفظ كل منها بسجله الخاص بملف robots.txt الخاص بك.
    نحن نقترح دائمًا التحقق من صحة التراكيب في ملفاتك طبقًا للمعيار الموجود في
    http://www.robotstxt.org/wc/exclusion.html#robotstxt (وصلات لموقع إنجليزي). وأحد المصادر الشائعة للمشاكل هو أن ملف robots.txt لم يُوضع في الدليل الأعلى لمركز الخدمة (مثلاً؛ www.myhost.com/robots.txt)، لأن وضع الملف في دليل فرعي لن يكون له أي تأثير.
    كما أن هناك اختلافًا بسيطًا بين الطريقة التي يعالج بها برنامج Googlebot ملف robots.txt والطريقة التي يقول معيار robots.txt أننا ينبغي أن نستخدمها في معالجة هذا الملف (مع مراعاة الفرق بين "ينبغي" و"يجب"). فالمعيار يقول إننا ينبغي أن نتبع أول قاعدة تقبل التطبيق، بينما يتبع برنامج Googlebot أوسع القواعد انطباقًا (أي الأكثر تخصصًا). وهذا الإجراء البديهي يتفق مع ما يفعله الناس في الواقع ومع ما يتوقعون أن نفعله. على سبيل المثال، فكِّر في ملف robots.txt التالي:
    User-Agent: *
    Allow: /
    Disallow: /cgi-bin
    إن من الواضح أن قصد مشرف الموقع هنا هو السماح لبرامج الروبوت بالزحف إلى كل شيء ماعدا دليل /cgi-bin. وبالتالي، هذا هو ما نفعله.
    لمزيد من المعلومات، الرجاء الاطلاع على
    الأسئلة الشائعة حول برامج الروبوت (وصلات لموقع إنجليزي). وإذا ظلت المشكلة قائمة، فالرجاء إعلامنا بذلك (وصلات لإصدار إنجليزي).
    8. لماذا توجد طلبات توصُّل من أجهزة عديدة على موقع Google.com، كلها بواسطة برنامج user-agent Googlebot؟
    لقد تم تصميم برنامج Googlebot بحيث يتم توزيعه على أجهزة مختلفة لتحسين الأداء والحجم مع نمو الويب. وكذلك – وللتقليل من استخدام سعة النطاق - نقوم بتشغيل برامج زاحف عديدة على أجهزة تم وضعها بالقرب من المواقع التي تقوم بفهرستها في الشبكة.
    9. هل يمكن إخباري بعناوين بروتوكول الإنترنت IP التي يبدأ منها برنامج Googlebot الزحف حتى يمكنني تنقية سجلاتي؟
    تتغير عناوين بروتوكول الإنترنت IP المستخدمة بواسطة برنامج Googlebot من وقت لآخر. وأفضل طريقة لتحديد عمليات الوصول بواسطة برنامج Googlebot هي استخدام برنامج user-agent (Googlebot).
    10. لماذا يقوم برنامج Googlebot بتنزيل الصفحة ذاتها على موقعي عدة مرات؟
    بصفة عامة؛ ينبغي أن يقوم برنامج Googlebot بتنزيل نسخة واحدة فقط من كل ملف من موقعك أثناء عملية زحف معينة. وفي كثير من الأحيان، يتوقف برنامج الزاحف ويعاد تشغيله؛ مما قد يؤدي إلى قيامه بإعادة الزحف إلى صفحات قام بجلبها مؤخرًا.
    11. لماذا لا تظهر صفحات موقعي التي قام برنامج Googlebot بالزحف إليها في فهرسكم؟
    لا تقلق إذا لم تتمكن من العثور الفوري على ملفات قام برنامج Googlebot بالزحف إليها في محرك بحث Google. إذ يتم إدخال الملفات إلى فهرسنا سريعًا بعد أن يتم الزحف إليها. ومن حين لآخر؛ لن يتم تضمين الملفات التي جلبها برنامج Googlebot لأسباب عديدة (على سبيل المثال: لأنها تبدو كنسخ طبق الأصل لصفحات أخرى على الويب).
    12. ما هي أنواع الوصلات التي يتبعها برنامج Googlebot?
    يتبع برنامج Googlebot وصلات HREF ووصلات SRC.
    13. كيف أمنع برنامج Googlebot من تتبع الوصلات الموجودة على صفحاتي؟
    لكي تمنع برنامج Googlebot من تتبع الوصلات الموجودة على صفحاتك لصفحات أو ملفات أخرى؛ قم بوضع علامة meta tag التالية على رأس ملف HTML الخاص بك.
    @-X-@@-X-@@-X-@@-X-@@-X-@@-X-@ NAME="Googlebot" @-X-@@-X-@@-X-@@-X-@@-X-@@-X-@@-X-@="nofollow">
    ولمعرفة المزيد عن علامات meta tags، الرجاء مراجعة
    http://www.robotstxt.org/wc/exclusion.html#meta (وصلات لموقع إنجليزي)؛ ويمكنك أيضًا قراءة ما يقوله معيار HTML عن هذه العلامات(وصلات لموقع إنجليزي). وتذكِّر أن التغييرات التي تحدث في موقعك لن يتم نقلها على الفور إلى Google؛ وإنما سيتم اكتشافها ونقلها عند قيام برنامج Googlebot بالزحف إلى موقعك مرة تالية.
    14. كيف اُخبر برنامج Googlebot بألا يقوم بالزحف إلى وصلة صادرة فردية على صفحة ما؟
    يمكن أن تستبعد علامات Meta tags كل الوصلات الصادرة الموجودة في صفحة ما، ولكن يمكنك أيضًا أن تأمر برنامج Googlebot بعدم الزحف إلى الوصلات الفردية بإضافة الصفة المميزة rel="nofollow" إلى الوصلة. وعندما يرى Google الصفة المميزة rel="nofollow" على وصلات، فلن تحصل تلك الوصلات على أي ائتمان عندما نقوم بتصنيف مواقع الويب في نتائج بحثنا. على سبيل المثال؛ الوصلة:
    <a href=http://www.example.com/>This is a great link!</a>

    يمكن تبديلها بالوصلة:

    <a href=http://www.example.com/ rel
    ="nofollow"> I can't vouch for this link</a>.

    الموضوع الاصلى هنا









  2. #2


    والله موضوع ادور عليه من زمان

    لكن ودي بشرح مبسط فعلا واكيد فيه كثير مثلي

    يعني الان ببساطة ماهو الواجب اضافته من صفحات مثلا وماهي الواجب او من المفترض منع الربوت عنها






  3. #3
    عضو نشيط جدا
    تاريخ التسجيل
    May 2007
    المشاركات
    392


    الموضوع فعلا شيق واستفدت منه كثيرا
    ولكن أرجو أخى حذف التنسيق لأنه يشوه شكل الموضوع





    __________________
    شكرا سوالف سوفت

    WwW.GeoScience.Me

  4. #4
    عضو نشيط
    تاريخ التسجيل
    Sep 2006
    المشاركات
    147


    بصراحة صراحة موضوع ممتاز لكن لم افهم لحد الان هل في صالح الموقع ازالة الروبوت او لا ؟

    شكرا لك






  5. #5


    بإختصار الملف الروبوت تضع فيه الروابط التي لاتريد نشرها في محرك بحث قوقل

    وجزاك الله خير اخوي على الموضوع

    منتديات مواطن
    www.w9et.com/vb
    مواطن
    www.w9et.com
    مواطن الإنترنت
    www.moatn.com





    __________________

    مواطن
    منتدى مواطن
    رفع صور مواطن الإنترنت
    ~~~~~~~~~~~~~
    admin # w9et.com

  6. #6
    عضو نشيط جدا
    تاريخ التسجيل
    Apr 2004
    المشاركات
    350


    ممكن يا جماعه مثال على الملف لمنتدى ؟






  7. #7


    لا أرى انه موضوع مميز صراحة لان بصدد الاشهار لموقعه أكثر منها نفع أعضاء سوالف كذلك أكود الـhtml جعلت المضوع صعب القراءة و لا ادري من أي نقلت هذا الموضوع صراحة لأن منتداك كله عبارة عن مواضيع تم اخذها من سوالف أو منتداي او منتديات أخرى بدون ذكر المصدر !!






  8. #8
    عضو فعال
    تاريخ التسجيل
    Sep 2007
    المشاركات
    1,569


    موضوع مكتوب باللغة العربية...؟؟!!

    ارجو تعديل المشاركة وايضا يوجد مقالات عن الروبورت افضل في المواقع الاجنبية





    __________________
    My twitter - حراج
    لا تنس ذكر الله | سبحان الله و الحمد لله ولا إله ألا الله و الله أكبر


  9. #9
    عضو فعال
    تاريخ التسجيل
    Sep 2007
    المشاركات
    1,569


    موضوع مهم ذو علاقة واكثر فائدة وترتيب

    http://www.swalif.net/softs/swalif55/softs222231/





    __________________
    My twitter - حراج
    لا تنس ذكر الله | سبحان الله و الحمد لله ولا إله ألا الله و الله أكبر


  10. #10
    عضو جديد
    تاريخ التسجيل
    Feb 2008
    المشاركات
    6


    والله ما فهمت شي فيه لخبطه بالموضوع اخوي

    ..............................
    .•:*¨`*:•. ][مملكة نواعم][.•:*¨`*:•. - Powered by vBulletin
    مملكة النواعم





    __________________
    اهلا بكم مملكة النواعم

    www.s0s0s0.com

  11. #11
    عضو نشيط جدا
    تاريخ التسجيل
    Feb 2008
    المشاركات
    325


    مشكور اخى ... وتسلم يدك

    هذا سكربت من برمجتى لعمل ملف الربوت بطريقة سهلة

    :+: لجمع عناكب محركات البحث :+:










ضوابط المشاركة

  • لا تستطيع إضافة مواضيع جديدة
  • لا تستطيع الرد على المواضيع
  • لا تستطيع إرفاق ملفات
  • لا تستطيع تعديل مشاركاتك
  •  

أضف موقعك هنا| اخبار السيارات | حراج | شقق للايجار في الكويت | بيوت للبيع في الكويت | دليل الكويت العقاري | مقروء | شركة كشف تسربات المياه | شركة عزل اسطح بالرياض | عزل فوم بالرياض| عزل اسطح بالرياض | كشف تسربات المياة بالرياض | شركة عزل اسطح بالرياض