robots.txt الكارثه ..!!

[موبايلي]

السلام عليكم

عندي موقع جديد له حوالي شهر

سويت له ملف robots.txt

وانا صراحه ماني فاهم فيه هذا الملف

الي اعرف انه مفيد

المهم مع الوقت بشوف تتحسن الارشفه

وكانت قبل ماسوي الملف حوالي 8 صفحات تم ارشفتها

الاتنزل شوي شوي الى ماوصلت 5 صفحات

ومنها الصفحه الرئيسيه تم حذفها من جوجل


مادري وين المشكله

حذف ملف robots.txt اللعين
وكانت كاتب فيه

User-Agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /admin/
Sitemap:http://XX/map.xml


هل في مشكله اذا حذف الملف

جوجل قام بحذف في صفحات الموقع وعشان كذا حذفته
هل يتاثر الموقع بحذفه ولا عادي

ابيه بس يرجع مثل اول

[الى العرب]

احذف هذا السطر بس
Sitemap:http://XX/map.xml

فانت اعطيته عنوان وهمي لخريطه الموقع
والسبايدر مالقي روابط وبالتالى ما ضاف شيء

[موبايلي]

احذف هذا السطر بس
Sitemap:http://XX/map.xml

فانت اعطيته عنوان وهمي لخريطه الموقع
والسبايدر مالقي روابط وبالتالى ما ضاف شيء

المسار صحيح .. انا كتبته هنا بالشكل هذا

هل في مشكله بحذف الملف

يعني لو حذفته يرجع يورشف ثاني ولا لازم اعدل بالملف

[دليل مميز]

جرب


User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /admin/
Sitemap: http://www.××.com/map.xml
Sitemap: http://www.××.com/urllist.txt
Allow: /*

[Obai]

أنا كنت متابع لعدد من المواقع وكلها خلال الأسبوعين الماضيين قلت أرشفتها بشكل غير طبيعي..

ليش مش عارف

800 ألف إلى 600 ألف من 60 ألف إلى 40 ألف ومن 18 ألف إلى 9 آلاف

فإذا أحد قلت الأرشفة عنده يخبرنا لنعرف شو بصير :con2:

يعني موقعي مسيطر على الوضع تقريباً ولكن بصعوبة قلت الأرشفة ولكن بالمقابل كل الصفحات والمواضيع الجديدة يؤرشفها بسرعة رهيبة وفي اقل من 10 دقائق. ولكن عدد الصفحات المؤرشفة قل نوعاً ما. ولكن حتى عدد الزوار ما قل!! غريب

[Panoramic]

قلت الارشفة لدي بشكل مو طبيعي

من 3000 إلى 1900 تقريبا

[fayz]

انا صفحات الأرشفة قلت عندي
من 840 الف الى 808 الف صفحة
ولاحظت ان عدد الزوار انخفض بشكل خفيف جدا
ولا اعلم هل هو بسبب الأرشفة ام لا
لكن اعتقد انه ليس بسبب الأرشفة

قبل كان موقعي 40 الف
وخلال اسبوع واحد فقط قفزر الى 860 الف

[موبايلي]

مشكورين على المرور



كانت الصفحات المورشفه فقط 6 وقفزت الى 155 ..

بس علقت عن ال 6 حوالي 10 ايام وقامت تنقص

يوم شفتها تنقص عرفت ان فيه خلل

المشكله انحلت الحمد لله وتم ارشفه 155 صفحه بعد ماسويت التالي

حذفت ملف الربوت
الغيت التحويل التلقائي للموقع


يبدو انها هي السبب الملف الريبوت ماكنت فاهمه شكلي خبصت فيه
والتحويل يطرد عناكب قوقل حتى في موقع جوجل حطين تحذير منه

وعلى فكره موقعي دليل مواقع


تحياتي لكم ،،

[XNOKiA]

جرب


User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /admin/
Sitemap: http://www.××.com/map.xml
Sitemap: http://www.××.com/urllist.txt
Allow: /*

السلام عليكم

اخواني ممكن احد يقولي شلون اسوي ملف الـrebot.txt وماهو الاسم الصحيح لهذا الملف

وشلون اسوي هذول

Sitemap: http://www.××.com/map.xml
Sitemap: http://www.××.com/urllist.txt

منتظركم

[sadiq6210]

السلام عليكم

اخواني ممكن احد يقولي شلون اسوي ملف الـrebot.txt وماهو الاسم الصحيح لهذا الملف

وشلون اسوي هذول

Sitemap: http://www.××.com/map.xml
Sitemap: http://www.××.com/urllist.txt

منتظركم

وعليكم السلام ورحمة الله وبركاته

فيه برامج عديد (وكذلك مواقع) تقدم خدمة Sitemap
بالنسبة لي استخدم برنامج Site Map Builder .NET
نزل البرنامج وثبته بجهازك .. بعد ذلك مجرد تكتب الرابط راح تحصل على خريطة للموقع
تقوم بحفظها بأحد الامتدادت المتوفرة (ويفضل xml)

ثم ترفع الملف للموقع لتساعد جوجل في أرشفة موقعك بشكل أسرع
ولا تنسى تضيف الخريطة الى جوجل عن طريق webmaster tools


أما بالنسبة لوظيفة الملف robots.txt
فهي لحجب الملفات التي لا ترغب أن يقوم google بأرشفتها
مثلا ملف admincp التابع للمنتدى او غيرها من التي تتمتع بشي من السرية

على سبيل المثال

User-agent: Mediapartners-Google* 
Disallow: 

User-agent: * 
Disallow: /forum// 
Disallow: /upload/

بالتوفيق

[ctrl]

مشكورين

[iceflaming]

يا جماعة انا موقعي قلت الصفحات في كوكل فجأة من 7 الاف إلى 600 فقط ومازالت تنزل مالعمل ؟

هلق كوكل يقاطع المواقع العربية ؟؟؟؟؟؟؟

[طلال عبدالله]

بالنسبة للي قلت صفحاتهم شوفو موقعكم هل خالفتم سياسة قوقل ؟؟

هل اخفيتم كلمات بلون الصفحة ؟؟

ابحثو وستجدون السبب ..

[Obai]

بالنسبة للي قلت صفحاتهم شوفو موقعكم هل خالفتم سياسة قوقل ؟؟

هل اخفيتم كلمات بلون الصفحة ؟؟

ابحثو وستجدون السبب ..

صحيح وهذا هو السبب جوجل يعتبر سكريبت المحيط سبام لأنه يحتوي على محتوى مكرر وكلمات مخفية وغيره.. وبالتالي تختفي كل الصفحات المؤرشفة للدليل بعد فترة.


سلامي