من يعرف كيف أحذف هذه الروابط من أرشيف جوجل ؟

رشيد · 02-09-2007, 02:39 PM

السلام عليكم ورحمة الله

هنالك روابط كثيرة لموقعي قام جوجل بأرشفتها , وهي روابط لا أحتاجها وقد تصنف ضمن ال suplemental لانها duplicated وأخاف البيج رانك يتضرر.

الروابط شكلها كذا:

www.rasheed-b.com/index.php?tag=keyword

keyword: هذه كلمات مفتاحية tags ولكل كلمة مفتاحية السيد جوجل عمل لها رابط وهذا الشيئ لا اريده

حاليا قمت بتحديث ملف ال robots.txt واضفت له:

كود:

Disallow: /tag/

لا أدري اذا كانت هذه الطريقة صحيحة حتى يتوقف جوجل عن ارشفة ال tags لانه كما تشاهدون الرابط عندي يختلف وبه علامة سؤال (؟)

الان كيف أحذف كل الروابط التي لا أريدها ؟ جربت من خلال Google's webmaster tools لكنها متعبة , لانه عدد الروابط التي اريد ان احذفها بالمئات !

حاولت ايضا انه احدد directory للحذف لكن ما في عندي directory , كلها روابط مثل اللي فوق.

اتمنى اجد المساعدة من الأخصائيين.

وجزاكم الله خيراً .

محمد الثقفي · 02-09-2007, 03:05 PM

وعليكم السلام

هكذا اخي

كود:

User-agent: Googlebot
Disallow: /*tag=

او

كود:

User-agent: Googlebot
Disallow: /*index.php?tag=

رشيد · 02-09-2007, 06:15 PM

مشكور اخوي MohDesign

تم تحديث الملف

الان كيف احذف الروابط التي تم ارشفتها بجوجل ؟

محمد الثقفي · 02-09-2007, 06:39 PM

اتزكها كما هي وبعد اسبوع او اسبوعين لن تجدها بجوجل (على حسب عدد مرات زيارة جوجل لموقعك)

قمت بالاطلاع على ملف ال robots بموقعك وهناك اخطاء كثيره

استبدل محتوى
User-agent: *

بالتالي :

كود:

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /trackback/
Disallow: /feed/
Disallow: /*tag=
Disallow: /*m=
Disallow: /*cat=
Disallow: /comments/
Disallow: /private/
Allow: /wp-content/uploads/

تقوم باعادة كتابة cat=Number أكثر من مره وذلك خاطي يكفي وضع

كود:

Disallow: /*cat=

ايضا من ملفك هذه خاطئه

كود:

Disallow: /private

الاصح

كود:

Disallow: /private/

* قمت بتصحيح كل الاوامر لك

بعد اسبوع من الان ابحث عن
http://www.google.com/search?hl=en&q...G=Search&meta=

النتيجه لدي الان 176 ومن المفترض ان تصبح واحد فقط "اول نتيجه" اسم موقعك

حيث سيتم حذف كل وصله بها tag=

النتيجه الكليه لموقعك هي 872 حاليا

http://www.google.com/search?hl=en&q....rasheed-b.com

سوف تتناقص خلال الاسبوعين القادمين ثم تبدأ بالارتفاع على حسب اضافاتك للموقع

رشيد · 02-09-2007, 07:26 PM

أشكرك جزيل الشكر اخي MohDesign

بالنسبة للـــ

كود:

Disallow: /*cat=

المشكلة انه في رقمين اريد ان استثنيهم لذالك وضعت كل الارقام التي لا ارغب ان تتم أرشفتها ما عدا الرقمين.

ساقوم بالتعديل كما شرحت , لكن لو تقدر تشرح لي كيف استثني الذي اريده من ال Categories ..

حاولت اعمل للملف VALIDATION وظهرت لي أخطاء ... قسم حليتها وقسم ما عرفت احلها ...

عموما جزاك الله خير ما قصرت.

عبدالرحمن العنكبوتي · 02-09-2007, 08:07 PM

تصحيح

محمد الثقفي · 02-09-2007, 08:16 PM

هكذا للكل

كود:

Disallow: /*cat=

ثم ضع الرقمين

كود:

Allow: /*cat=3
Allow: /*cat=4

غير الرقمين

إقتباس:

المشاركة الأصلية بواسطة عبدالرحمن العنكبوتي

تصحيح

استاذ عبدالرحمن ماهو التصحيح جزاك الله خير

شكلك نسيت تكمل الرد

رشيد · 02-09-2007, 11:15 PM

أخ MohDesign ,

حسب ما فهمت انه ما في شيئ اسمه allow

يعني اذا اردنا نسمح الأرشفة بشكل كامل الكود يكون disallow بالرغم من انه معناه "لا تسمح" ويكون الكود كالتالي:

كود:

User-agent: *
Disallow:

هذا الكلام من موقع robots.org

إقتباس:

To exclude all files except one
This is currently a bit awkward, as there is no "Allow" field. The easy way is to put all files to be disallowed into a separate directory, say "docs", and leave the one file in the level above this directory:

كود:

User-agent: * Disallow: /~joe/docs/

Alternatively you can explicitly disallow all disallowed pages:

كود:

User-agent: * Disallow: /~joe/private.html Disallow: /~joe/foo.html Disallow: /~joe/bar.html

كود:

ام انا غلطان ؟

وننتظر رد الأخ العنكبوتي ...

محمد الثقفي · 03-09-2007, 12:43 AM

تقصد

www.robotstxt.org/

هذه اجابة الموقع عن الاستفسار
http://www.robotstxt.org/wc/norobots-rfc.html
تجدها في
3.2 File Format Description

هذه اجابة جوجل على استفسارك
http://www.google.com/support/webmas...247&topic=8475

وراجع هنا
http://www.freefind.com/library/howto/robots/

وهنا ايضا
http://www.javascriptkit.com/howto/robots.shtml

عبدالرحمن العنكبوتي · 03-09-2007, 01:17 AM

ما ازيد على كلامك ولا أصحح استاذي محمد
رديت في موضوع خطأ

رشيد · 03-09-2007, 02:34 PM

جزاك الله خير محمد

يمكن ال allow ما تفهمها بعض العناكب , لكن من الرابط الذي وضعته فوق جوجل ما في مشكله معه بالنسبة لهذه الطريقة.

عموما عملت التعديلات مثلما ذكرت وننتظر 10 ايام ونشوف النتائج.

سؤال أخير:

لماذا وضعت :

كود:

Disallow: /*cat=

ولم تضع:

كود:

Disallow: /?cat=

ويعطيك ربي الف عافية

رشيد · 03-09-2007, 08:21 PM

وهذه اول نتائج ملف ال robots يقوم بمنع الوصول الى المواضيع ولا ادري ما الخطأ ....

محتمل من هذا الكود علما اني ازلته الان ؟

كود:

User-agent: Googlebot
# disallow all files ending with these extensions
Disallow: /*.php$

محمد الثقفي · 03-09-2007, 09:28 PM

السلام عليكم

كتبت *cat لان علامة * تعني وجود اي شي قبل الكلمه وبهذا يعتبر ؟ ضمن *

وايضا يعتبر index.php? ضمن *

ترى هذا الخطأ ممكن يخسرك موقعك

كود:

Disallow: /*.php$

انت هكذا منعت جوجل من ارشفة اي صفحة .php

احذفها وانتظر التحديث

تصحيحات :

كود:

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /private/
Disallow: /*tag=
Disallow: /*m=
Disallow: /*cat=
Allow: /*cat=6
Allow: /*cat=1
Allow: /wp-content/uploads/

User-agent: Googlebot
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.cgi$

# Google Image
User-agent: Googlebot-Image
Allow: /

# digg mirror
User-agent: duggmirror
Disallow: /

# Sitemap
Sitemap: http://www.rasheed-b.com/sitemap.xml

تم تصحيح Google Image
وايضا حذف قيمه معاده مرتين
وهي Allow: /*cat=1

رشيد · 03-09-2007, 09:52 PM

انا فكرت انه الامر اللي فوق يمنع ارشفة صفحات تكون كذا:

http://www.rasheed-b.com/file.php

بينما روابط المواضيع عندي هي:

http://www.rasheed-b.com/?p=number

علما انه جوجل ارشف الصفحة الرئيسية للمدونة (امتدادها php) في نفس اللحظة التي اظهر انه يوجد مواضيع المدونة لا يمكن ارشفتها .

-----------------
هذه هي نسخة G o o g l e المخبأة للعنوان http://www.rasheed-b.com/ كما سُحبت في 1 أيلول (سبتمبر) 2007 21:39:39 GMT.
----------------

لذالك أخشى ان يكون الخطأ من امر ثاني.

عموما , تم التعديل وننتظر التحديث.

شكرا لك محمد.

محمد الثقفي · 03-09-2007, 10:24 PM

ملاحظه :

كود:

http://www.rasheed-b.com/?p=number

هي نفسها

كود:

http://www.rasheed-b.com/index.php?p=number

وجوجل ليس غافل عنها

رشيد · 04-09-2007, 02:40 PM

ممتاز محمد. الصراحة اجاباتك واضحه ومقنعة.

طيب نكمل اذا ما في عندك مانع ؟

في عندي روابط كذا:

www.rasheed-b.com/?p=390&cp=1
www.rasheed-b.com/?p=390&cp=2
www.rasheed-b.com/?p=390&cp=3

cp = comments page

هذه اضافة اذا كان في موضوع في ردود كثيرة فيقسمها لك لصفحات حتى لا تثقل على الصفحة

وكما تشاهد فهي تعمل روابط duplicated يقوم جوجل بارشفتها.

هذه كيف نعمل لها بلوك في ال robots.txt

هكذا صحيح ؟

كود:

Disallow: /*cp=

ام ؟

كود:

Disallow: /*&cp=

محمد الثقفي · 06-09-2007, 03:29 AM

اجلعها كما هي لن يحسبها جوجل كأنها duplicated لانها مختلفه اصلا 1 =! 2

الاعتماد راح يكون على <title> و <meta Description>

كل ماعليك فعله هو تغيير ال title في كل صفحه
الصفحه الاولى اسم الموضوع مثلا

"هدف مارادونا في كأس العالم"

الصفحه الثانيه تكون

"هدف مارادونا في كأس العالم - (صفحة رقم 2)"

اصبح هناك اختلاف في الوصله وفي ال title "العنوان"

وعشان تمشي على جوجل على جوجل اكثر اجعل ال description نفس ال title
تحتاج الى التعديل قليلا في ملفات البرنامج المستخدم في موقعك

اي في الصفحه الاولى راح يكون ال title وال description :
"هدف مارادونا في كأس العالم"

في الصفحه الثانيه :
"هدف مارادونا في كأس العالم - (صفحة رقم 2)"

ملاحظه : نقطة تغيير ال description مهمه في حالة الـ duplicated

رشيد · 06-09-2007, 04:49 AM

هلا اخوي محمد

المشكلة انه هذه الوصلات الجديدة التي تعملها الاضافة تنتج صفحات جديدة ما في عليها سيطرة.

وعلى فكرة وضعت الاكواد الاثنين اللي ذكرتهم لك في المشاركة 16 وما عملوا تأثير , استمر جوجل بارشفة هذه الروابط.

تذكر في بداية الموضوع عندما كان خطأ في ملف الروبوت وكان يحجب صفحات php , عندها بين لي جوجل بعض من هذه الروابط (cp=) ضمن ال restricted urls

بعد اصلاح الخطأ رجع يأرشفها

كيف نقدر نمنعها بواسطة ملف الروبوت حسب اعتقادك ؟ لانه قضية <title> و <meta Description> صعبة التطبيق.

محمد الثقفي · 06-09-2007, 05:09 AM

الحل هذا :

كود:

Disallow: /*&cp=

لان cp تأتي بعد قيمه اخرى يجب وضع & وجوجل يفهم ان & هي بداية متغير جديد في العنوان

*احذف الثانيه لاتخليها موجوده اللي هي "Disallow: /*cp="

بس انصحك انك تحاول في ال <title> و <meta Description>

لان المفروض ماتوقف تعدد الصفحات بل تدعمه اكثر

وعلى العموم ايش صار مع tag= هل بدأت تحذف ؟

رشيد · 06-09-2007, 02:27 PM

tag= بعد ان وضعت الكود الذي اعطيتني اياه في ملف الروبوت وجدت جميع هذه الروابط في ال restricted urls وبعدها قمت باستعمال ال removal urls tool لحذفها والحمد لله انحذفت اغلبها باقي كم واحد بس قريبا ستحذف وهذه النتائج جزاك الله خير:

http://www.google.com/search?hl=en&q...=Google+Search

وما زالت روابط منعناها من الارشفة لكن طلب ازالتها لا يزال يعطي denied ولا ادري لماذا

الان يقلقني ال /*cp وان شاء الله ساعمل مثلما ذكرت لي ونشوف النتائج.

مشكور محمد.

Gendows Systems · 08-09-2007, 01:30 PM

أردت فقط القول انى استفدت كثيرا للأكواد فى الموضوع وشكرا على الشرح الوافى لكل تعديل

وان شاء الله توصل لمبتغاك

رشيد · 11-09-2007, 05:10 AM

الان الوضع تمام

لمن يريد ان يستفيد اكثر يدخل على هذا الرابط , كتبت موضوع واستفدت منهم ايضا :

http://www.webmasterworld.com/google/3442249.htm

شكرا للجميع وأخص MohDesign

محمد الثقفي · 11-09-2007, 08:14 AM

ممتاز الحمدلله والعفو اخي

اضافه بالنسبه للاسكريبت المستعمل

ضع هذا الامر في حالة تعدد الصفحات

كمثال

كود:

<a href="http://www.rasheed-b.com/?p=390&cp=2" rel="nofollow" target="_self" />2</a>

لاحظ امر

كود:

rel="nofollow"

هذا يجعل جوجل لا يتبع اللينك في حالة تتبع الصفحات

رشيد · 11-09-2007, 06:24 PM

المعذرة محمد , ما فهمت ردك الاخير. اي سكربت تقصد ؟

واين يتم وضع الامر ؟

محمد الثقفي · 12-09-2007, 01:02 AM

اقصد الطريقه او الاسكريبت المستعمل لعرض المدونه

يتم التعديل من ال template اذا كان الاسكربت يدعم نظام القوالب

او بشكل يدوي

انظر كيف تتم عملية وضع تعدد الصفحات يطريقه برمجيه