من يعرف كيف أحذف هذه الروابط من أرشيف جوجل ؟

[رشيد]

السلام عليكم ورحمة الله

هنالك روابط كثيرة لموقعي قام جوجل بأرشفتها , وهي روابط لا أحتاجها وقد تصنف ضمن ال suplemental لانها duplicated وأخاف البيج رانك يتضرر.

الروابط شكلها كذا:

www.rasheed-b.com/index.php?tag=keyword

keyword: هذه كلمات مفتاحية tags ولكل كلمة مفتاحية السيد جوجل عمل لها رابط وهذا الشيئ لا اريده

حاليا قمت بتحديث ملف ال robots.txt واضفت له:

Disallow: /tag/

لا أدري اذا كانت هذه الطريقة صحيحة حتى يتوقف جوجل عن ارشفة ال tags لانه كما تشاهدون الرابط عندي يختلف وبه علامة سؤال (؟)

الان كيف أحذف كل الروابط التي لا أريدها ؟ جربت من خلال Google's webmaster tools لكنها متعبة , لانه عدد الروابط التي اريد ان احذفها بالمئات !

حاولت ايضا انه احدد directory للحذف لكن ما في عندي directory , كلها روابط مثل اللي فوق.

اتمنى اجد المساعدة من الأخصائيين.

وجزاكم الله خيراً .

[محمد الثقفي]

وعليكم السلام

هكذا اخي

User-agent: Googlebot
Disallow: /*tag=

او

User-agent: Googlebot
Disallow: /*index.php?tag=

[رشيد]

مشكور اخوي MohDesign

تم تحديث الملف

الان كيف احذف الروابط التي تم ارشفتها بجوجل ؟

[محمد الثقفي]

اتزكها كما هي وبعد اسبوع او اسبوعين لن تجدها بجوجل (على حسب عدد مرات زيارة جوجل لموقعك)

قمت بالاطلاع على ملف ال robots بموقعك وهناك اخطاء كثيره

استبدل محتوى
User-agent: *


بالتالي :

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /trackback/
Disallow: /feed/
Disallow: /*tag=
Disallow: /*m=
Disallow: /*cat=
Disallow: /comments/
Disallow: /private/
Allow: /wp-content/uploads/

تقوم باعادة كتابة cat=Number أكثر من مره وذلك خاطي يكفي وضع

Disallow: /*cat=

ايضا من ملفك هذه خاطئه

Disallow: /private

الاصح

Disallow: /private/

* قمت بتصحيح كل الاوامر لك

بعد اسبوع من الان ابحث عن
http://www.google.com/search?hl=en&q...G=Search&meta=

النتيجه لدي الان 176 ومن المفترض ان تصبح واحد فقط "اول نتيجه" اسم موقعك

حيث سيتم حذف كل وصله بها tag=

النتيجه الكليه لموقعك هي 872 حاليا

http://www.google.com/search?hl=en&q....rasheed-b.com

سوف تتناقص خلال الاسبوعين القادمين ثم تبدأ بالارتفاع على حسب اضافاتك للموقع

[رشيد]

أشكرك جزيل الشكر اخي MohDesign

بالنسبة للـــ

Disallow: /*cat=

المشكلة انه في رقمين اريد ان استثنيهم لذالك وضعت كل الارقام التي لا ارغب ان تتم أرشفتها ما عدا الرقمين.

ساقوم بالتعديل كما شرحت , لكن لو تقدر تشرح لي كيف استثني الذي اريده من ال Categories ..

حاولت اعمل للملف VALIDATION وظهرت لي أخطاء ... قسم حليتها وقسم ما عرفت احلها ...

عموما جزاك الله خير ما قصرت.

[عبدالرحمن العنكبوتي]

تصحيح

[محمد الثقفي]

هكذا للكل

Disallow: /*cat=

ثم ضع الرقمين

Allow: /*cat=3
Allow: /*cat=4

غير الرقمين

تصحيح

استاذ عبدالرحمن ماهو التصحيح جزاك الله خير

شكلك نسيت تكمل الرد

[رشيد]

أخ MohDesign ,

حسب ما فهمت انه ما في شيئ اسمه allow

يعني اذا اردنا نسمح الأرشفة بشكل كامل الكود يكون disallow بالرغم من انه معناه "لا تسمح" ويكون الكود كالتالي:

User-agent: *
Disallow:

هذا الكلام من موقع robots.org

To exclude all files except one
This is currently a bit awkward, as there is no "Allow" field. The easy way is to put all files to be disallowed into a separate directory, say "docs", and leave the one file in the level above this directory:

    User-agent: *
    Disallow: /~joe/docs/

Alternatively you can explicitly disallow all disallowed pages:

    User-agent: *
    Disallow: /~joe/private.html
    Disallow: /~joe/foo.html
    Disallow: /~joe/bar.html

ام انا غلطان ؟

وننتظر رد الأخ العنكبوتي ...

[محمد الثقفي]

تقصد

www.robotstxt.org/

هذه اجابة الموقع عن الاستفسار
http://www.robotstxt.org/wc/norobots-rfc.html
تجدها في
3.2 File Format Description



هذه اجابة جوجل على استفسارك
http://www.google.com/support/webmas...247&topic=8475


وراجع هنا
http://www.freefind.com/library/howto/robots/

وهنا ايضا
http://www.javascriptkit.com/howto/robots.shtml

[عبدالرحمن العنكبوتي]

ما ازيد على كلامك ولا أصحح استاذي محمد
رديت في موضوع خطأ

[رشيد]

جزاك الله خير محمد

يمكن ال allow ما تفهمها بعض العناكب , لكن من الرابط الذي وضعته فوق جوجل ما في مشكله معه بالنسبة لهذه الطريقة.

عموما عملت التعديلات مثلما ذكرت وننتظر 10 ايام ونشوف النتائج.

سؤال أخير:

لماذا وضعت :

Disallow: /*cat=

ولم تضع:

Disallow: /?cat=

ويعطيك ربي الف عافية

[رشيد]

وهذه اول نتائج ملف ال robots يقوم بمنع الوصول الى المواضيع ولا ادري ما الخطأ ....



محتمل من هذا الكود علما اني ازلته الان ؟

User-agent: Googlebot
# disallow all files ending with these extensions
Disallow: /*.php$

[محمد الثقفي]

السلام عليكم

كتبت *cat لان علامة * تعني وجود اي شي قبل الكلمه وبهذا يعتبر ؟ ضمن *

وايضا يعتبر index.php? ضمن *


ترى هذا الخطأ ممكن يخسرك موقعك

Disallow: /*.php$

انت هكذا منعت جوجل من ارشفة اي صفحة .php

احذفها وانتظر التحديث


تصحيحات :

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /private/
Disallow: /*tag=
Disallow: /*m=
Disallow: /*cat=
Allow: /*cat=6
Allow: /*cat=1
Allow: /wp-content/uploads/

User-agent: Googlebot
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.cgi$

# Google Image
User-agent: Googlebot-Image
Allow: /

# digg mirror
User-agent: duggmirror
Disallow: /

# Sitemap
Sitemap: http://www.rasheed-b.com/sitemap.xml

تم تصحيح Google Image
وايضا حذف قيمه معاده مرتين
وهي Allow: /*cat=1

[رشيد]

انا فكرت انه الامر اللي فوق يمنع ارشفة صفحات تكون كذا:

http://www.rasheed-b.com/file.php

بينما روابط المواضيع عندي هي:

http://www.rasheed-b.com/?p=number

علما انه جوجل ارشف الصفحة الرئيسية للمدونة (امتدادها php) في نفس اللحظة التي اظهر انه يوجد مواضيع المدونة لا يمكن ارشفتها .

-----------------
هذه هي نسخة G o o g l e المخبأة للعنوان http://www.rasheed-b.com/ كما سُحبت في 1 أيلول (سبتمبر) 2007 21:39:39 GMT.
----------------

لذالك أخشى ان يكون الخطأ من امر ثاني.

عموما , تم التعديل وننتظر التحديث.

شكرا لك محمد.

[محمد الثقفي]

ملاحظه :

http://www.rasheed-b.com/?p=number

هي نفسها

http://www.rasheed-b.com/index.php?p=number

وجوجل ليس غافل عنها