الخطوة الأولى: اعداد المنتدى لمحركات البحث [1]

[Sara Tancredi]

في البداية [إضاءة]

من خلال هذه الدروس البسيطة التي تعلمتها منكم ومن مواقع أخرى سأقوم بتصحيح بعض
المفاهيم بالاضافة إلى تعلم مهارات جديدة يستطيع الجميع الاستفادة منها.

سر نجاح المنتديات يعتمد على عدة أمور

[1] المحتوى (الذي يخدم) مستخـــدم الإنترنت والذي يتم البحث عنه في محركات البحـــث.
[2] إعداد المنتدى بطريقة تستهـــدف بها منع ظهور نتائج | والسماح بظهور نتائج أخرى.
[3] عدم جعل المنتدى حقل تجـــارب للهاكــــات والأكــــواد التـي كل من هب ودب أتى بها.
[4] استخدام الاستايل الافتراضي معـــدل الصور وليس كل استايل عجبنـا نقوم بوضعـــــه.
[5] الابتعاد عن العبث بالجداول أو التعديل عليها قدر الامكان وأيضا الفوتر فهو مهم جدا.
[6] عدم حذف المواضيع أو نقلها لقسم لا يستطيع الزوار مشاهدته <= أهــم نـــقـــطـــة.
[7] هذا الدرس تم شرحه في مجموعة ترايدنت العربية لتطوير المواقع والمنتديــــات : )



بداية هذا الدرس ستكون ملف الروبوتس + تهيئة سكربت vb (المنتدى) لمحركات البحث

كثيـرا ما نرى أشخاص يأتون بملف روبوتس ويقولون: أقوى ملف، ملف يأرشف كل الموقع
أو ملف يأرشف 3 أرباع الموقع .. واغراءات ما أنزل الله بها لتقوم بتحميل الملف واعتماده
وهذا خاطئ .. فـ بحقيقة الأمر ملف الروبوتس موجود فقط لمنع الأرشفة..!

كيف منع الأرشفة؟

لنعتبر بطريقة بسيطة أن العناكب = سيارات
أي أن الروبوتس فقط موجود كـ [بوابة] يقف عليها شرطي يسمح بمرور جميع السيارات إلا
التي تم إعطاء الشرطي أمر بعدم مرورها. (أحيانا تكون الأمثلة ساذجة ولكنها توصل المعلومة بالطريقة الصحيحة)

الآن يجـب أن تتأكد بأن ملف الروبوتس لا يقوم بأرشفـــــــــة الموقع ولا يقوم بجلب العناكب
وأن كل من يقول ملف الروبوتس يجلب ويعمل ويسوي هو مفهوم خاطئ تماما للأرشفـــــــة.

ونصيحة للجميع: لا تصدق شخص يقول لك:

سأقوم بأرشفة موقعك، سأقوم بتقسيمه في جوجل، سأقوم وشركات كثيرة تعـــــــــــود لأفراد
تدعي بأنها متخصصة في هذا المجال. كل ما في الموضوع هو أنت..
هل ترغب بالنجاح؟ إذا فاسعى بنفسك إليه ولا توكل مهمته لأحد غيرك على الإطلاق.

لنبدأ من الآن بالاعتماد على انفسنا وليس على الآخرين وعلى بركة الله أبدأ:

استهداف محرك البحث Googel على وجه الخصوص.

الخطوة الأولى هي التسجيل وفتح حساب في جوجل من هنا










نقوم بالدخول للحساب واختيار أكاونت ومن ثم ويب ماستر تولس أو أدوات مشرفي المواقع




نقوم بكتابة اسم الموقع وبعدها add







نقوم بالضغط على Verify your site





نقوم باختيار وسيلة التحقق.. وقد استخدمت في هذا الشرح وسيلة التحقق بواسطة رفع الصفحة





نقوم بنسخ الكود





نفتح المفكرة حتى لو لم تظهر هنا فستجدها في جميع البرامج All programs




بعد فتح المفكرة تلقائيا نذهب لحفظ باسم أو save as






نقوم بلصق كود التحقق المأخوذ من جوجل





نقوم برفعه لرئيسية الموقع بهذا الشكل http://site.com/googledf34fsd04.html
طبعا هذا الملف غير صحيح ولكن يجب أن يكون على مجلد الموقع الرئيسي وليس vb مثلا





بعد الانتهاء من رفعه

نعود لصفحة جوجل حيث تنتظر التحقق





نضغط Verify وبهذا قد تمت الخطوة الأولى بالنسبة للتحقق من أنك مالك الموقع .

================================================== =


انشاء ملف الروبوتس

ملاحظة (سيتم اعتماد Robots جوجل الافتراضي)

لوحة تحكم أدوات ومشرفي المواقع





لاحظوا اشارة (صح) باللون الأخضر.. هذا يعني أنه تم التحقق من الموقع الذي على نفس السطر منها


نقوم بالضغط على اسم الموقع




نختر أدوات Tools





نقوم بانشاء الملف بالضغط على Generate robots.txt






نضغط Dawnload





ينتج لدينا هذا الملف.. نقوم برفعه لـ المجلد الرئيسي للموقع


لنتحث قليلا عن هذا الملف..

محتواه بالمفهوم البسيط.. دخول جميع عناكب محركات البحث للموقع

البعض لأسباب أمنية يقوم بإضافة cgi-bin بحيث يصبح:


User-Agent: *
Allow: /
Disallow: /cgi-bin/



ولكن أنا لا أؤيد وضعها والاكتفاء بالافتراضي. مثال لموقع لا يضعها هنا


ونقطة يجب أن نفهمها (استخدام Disallow مربوط باستخدام Allow بحيث Allow = ثابت)

أي أنه لا وجود لـ Disallow إلا لإيقاف العناكب عن مجلد معين..
ويعني في المحصلة النهائية
يكفي أن يكون ملف الروبوتس حاصلا على Allow واحدة لجميع الموقع دون وضع أي اسم أمامها

فالبعض يقول أريد أرشفة المنتدى + الدليل
فيقوم بوضع
Allow: /vb
Allow: /dir

طبعا هذا خــــــاطئ..!


قضية أخرى يستخدمها المحترفين حفاظا على الباندويدث وهي : حصر العناكب..
كيف؟

يتم ذلك من خلال تحديد مجموعة عناكب في الدالة User-agent

مثلا لدينا 4 محركات بحث اسماء العناكب الخاصة بها والمتعارف عليها كالتالي:

المحرك الأول واسماء العناكي الخاصه به

الأول : traidntnet
الثاني: traidntcom
الثالث: traidntorg
الرابع: traidntcc

لاحظوا أن كل محرك بحث له اسم خاص للعناكب الخاصة به

على سبيل المثال أردنا أن نمنع محرك البحث traidntorg بعدم ظهور نتائج لموقعنا به:-

نقوم بالتالي:-

User-Agent: *
Allow: /
ونضع أسفلها
User-Agent: traidntorg
Disallow: /


ليصبح على هذه الشاكلة

User-Agent: *
Allow: /
User-Agent: traidntorg
Disallow: /


أنا أفضل فتح الموقع لجميع العناكب واستخدام الروبوتس الافتراضي
وينصح وضع رابط الخريطة في نهاية ملف الروبوتس بحيث يجب استخدام
Sitemap: الرابط

ويجب كتابة أول حرف في كلمة (Sitemap) كابيتل ليتر


..... لنكمل


طبعا الآن لو وصلنا لهون رح نجد محركات البحث قامت باظهار نتائج بدون فائدة

مثلا رح نجد محرك البحث قام بأرشفة عضويات الأعضاء + التقويم وملفات شخصية..
ومشاركة واحدة .. إلخ

..

ولحتى ما نقع بهادي النتائج يلي ما إلها أي فايدة..


ندخل لوحة تحكم المنتدى





نختار التحكم بالمجموعات





نختار اذهب أمام مجموعة الزوار

طبعا هذا التطبيق فقط على مجموعة الزوار لا غير

لأنه جوجل وياهو وأليكسا ومحركات البحث عناكبها تعتبر زوّارا

فـ إحنا مثلا ما بدنا إياهم يأرشفو العضويات..
أو التقويم أو أشياء أخرى..

نسمح لهم فقط بـ






نسمح لهم بمشاهدة المنتدى
+
مشاهدة محتوى المواضيع
+
مشاهدة مواضيع الآخرين
+
يستطيع تحميل المرفقات : ملاحظة.. إذا كنت لاتريد اتاحة تحميل المرفقات للزوار الآخرين غير العناكب
يجب عليك تعيين هذا الخيار إلى لا
طبعا لو عملته نعم متل ما أنا عاملة بموقعي
الزوار رح يحملو المرفقات غير العناكب يعني ممكن زائر من دولة تانية يحمل
المفهوم بالزائر هو العضو غير مسجل الدخول + العناكب
يعني لتنين رح يحملو المرفقات لو ما عملتها لا

نكمل




نمنع الزوار والعناكب من مشاهدة التقويم حتى كي لا نعثر على نتائج في جوجل
التقويم التقويم التقويم...إلخ
أو
الملف الشخص للعضو فلان.. أو فلانة


وببسيط العبارة اجعل جميع الخيارات لا (إلا) مشاهدة المنتدى + مشاهدة المواضيع والخيارات
التي تم الحديث عنها في ثالث صورة للوحة التحكم.
إذا كانت هناك هاكات وظهرت لك في لوحة تحكم الزوار عليك بضبطها كي تتناسب معك

الخطوة الأخيرة




ماذا استفدنا من هذا الدرس؟

توجيه جميع عناكب محركات البحث للعناصر المسماة

forumdisplay
+
showthread
+
Post
+
tags

وهي العناصر الأساسية التي يستهدفها الباحث عن الفائدة في محركات البحث.

وانتظروني بالدرس القادم ولكن قبل الدرس القادم حابة منكم تعملو تطبيق للخطوة هادي
لحتى يتم شرحها بالدروس القادمة

وهي

الذهاب للوحة التحكم + مجموعات الأعضاء
الدخول للمجموعات
الذهاب لجميع المجموعات التي تملك صلاحية الحذف وسحب صلاحيات حذف المواضيع منها
+
اعطاء المشرفين أوامر بعدم نقل الموضوع من مكانه إلى قسم لا يسمح للزوار بمشاهدته
ومن الأفضل فتح قسم الشتات أو سلة المحذوفات للزوار ومنع كتابة مواضيع فيها أو ردود
ويكفي المشرفين تعديل المواضيع فقط
وسيتم توضي هذا في الدروس المقبلـة

تحياتي.. Sara Tancredi

[الوافي]

بسم الله الرحمن الرحيم

السلام عليكم ورحمة الله وبركاته

اخيتي .. بنت فلسطين

بارك الله فيك على هذا العمل الجبار والرائع

واتمنى ل التوفيق

تم نسخ المنتدى بأسمك لمنتديات الوافي التطويرية

http://www.alwafi00.com/vb/showthrea...8824#post68824

[سعود القحطاني]

يعطيك العافيه على الشرح

تقولين الروبوتس الافتراضي

هل هو بالشكل هذا

User-agent: Mediapartners-Google*
Disallow:

[arabph]

رائع بل اكثر من رائع ،،،،

اهنئك على هذا الشرح الممتع و المفيد ،،،

استفسار اختي الكريمة انا مركب هاك الفيبيسيو من شهرين و الارشفة ماشية تمام لكن هناك اكثر من شخص ذكرو لي ان الارشفة عندي فيها مشكلة خاصة في الروابط ...هل هذا صحيح ؟؟

رابط الموقع www.4ph.net

وانا ما عندي ربورت و لا سايت ماب ؟ هل هذا الامر مقبول ام يجب ان اضيفهم ؟

وشكرا لسعة صدرك ،،

[Sara Tancredi]

يعطيك العافيه على الشرح

تقولين الروبوتس الافتراضي

هل هو بالشكل هذا

User-agent: Mediapartners-Google*
Disallow:

هذا الافتراضي

User-Agent: *
Allow: /


وبالنسبة للروبوتس عليك مراجعة هذه المعلومات ان كنت ترغب بالتعمق به


The Disallow line lists the pages you want to block. You can list a specific URL or a pattern. The entry should begin with a forward slash (/).

• To block the entire site, use a forward slash. Disallow: /
• To block a directory and everything in it, follow the directory name with a forward slash. Disallow: /junk-directory/
• To block a page, list the page. Disallow: /private_file.html
• To remove a specific image from Google image search, add the following: User-agent: Googlebot-ImageDisallow: /images/dogs.jpg
• To remove all images on your site from Google image search: User-agent: Googlebot-ImageDisallow: /
• To block files of a specific file type (for example, .gif), use the following: User-agent: GooglebotDisallow: /*.gif$
• To prevent pages on your site from being crawled, while still displaying AdSense ads on those pages, disallow all bots other than Mediapartners-Google. This keeps the pages from appearing in search results, but allows the Mediapartners-Google robot to analyze the pages to determine the ads to show. The Mediapartners-Google robot doesn't share pages with the other Google user-agents. For example: User-agent: *Disallow: /folder1/User-agent: Mediapartners-GoogleAllow: /folder1/

Note that directives are case-sensitive. For instance, Disallow: /junk_file.asp would block http://www.example.com/junk_file.asp, but would allow http://www.example.com/Junk_file.asp.

[Sara Tancredi]

وبالعربية

إن أسهل طريقة لإنشاء ملف robots.txt هي استخدام أداة "إنشاء ملفات robots.txt" الموجودة ضمن أدوات مشرفي المواقع. وبمجرد إنشاء الملف، يمكنك استخدام أداة "تحليل ملف robots.txt" للتأكد من أنه موافق لتوقعاتك.
بمجرد إنشاء ملف robots.txt، قم بحفظه في جذر النطاق لديك باسم robots.txt. وهذا هو المكان الذي ستقوم برامج الروبوت بالبحث عن ملفك فيه. فإذا قمت بحفظه في مكان آخر، فسيتعذر العثور عليه.
كما يمكنك إنشاء ملف robots.txt يدويا باستخدام أي محرر نصوص. على أن يكون ملفا نصيا بترميز ASCII، وليس ملف HTML. ويجب أن يكون اسم الملف مكتوبًا بحروف صغيرة.
البنية
يعتمد أبسط ملف robots.txt على قاعدتين:

• User-Agent: برنامج الروبوت الذي تنطبق عليه القاعدة التالية
• Disallow: عنوان URL الذي تريد منعه

يتم اعتبار هذين السطرين إدخالاً واحدًا في الملف. يمكنك تضمين أي عدد تريده من الإدخالات. كما يمكنك تضمين سطور Disallow وUser-Agent متعددة في الإدخال الواحد.
ما الذي يجب إدراجه في سطر User-Agent؟
وكيل المستخدم (User-Agent) هو برنامج روبوت معين لمحرك البحث. ويندرج ضمن قاعدة بيانات برامج روبوت الويب العديد من برامج التتبع الشائعة. يمكنك تعيين أحد الإدخالات لتخصيصه لبرنامج تتبع محدد (بإدراج الاسم) أو يمكنك تعيينه لكل برامج التتبع (بإدراج علامة النجمة *). ويظهر الإدخال المخصص لكل برامج التتبع بهذا الشكل:
User-agent: *تستخدم Google العديد من برامج التتبع (user-agent) المختلفة. وبرنامج التتبع المستخدم لبحث الويب الخاص بنا هو Googlebot. وتتبع برامج التتبع الأخرى لدينا مثل Googlebot-Mobile وGooglebot-Image القواعد التي تقوم بإعدادها لبرنامج Googlebot، ولكن يمكنك أيضا إعداد قواعد إضافية لهذه البرامج تحديدا.
ما الذي يجب إدراجه في سطر Disallow؟
يعرض السطر Disallow الصفحات التي تريد منعها. ويمكنك إدراج عنوان URL محدد أو نمط محدد. ويجب أن يبدأ الإدخال بشرطة أمامية مائلة (/).

• لمنع الموقع بالكامل، استخدم شرطة أمامية مائلة. Disallow: /
• لمنع دليل وكل ما يحتويه، اتبع اسم الدليل بشرطة أمامية مائلة. Disallow: /junk-directory/
• لمنع صفحة، قم بإدراج الصفحة. Disallow: /private_file.html
• لإزالة صورة معينة من بحث الصور على Google، قم بإضافة ما يلي: User-agent: Googlebot-ImageDisallow: /images/dogs.jpg
• لإزالة جميع الصور الموجودة على موقعك من بحث الصور على Google: User-agent: Googlebot-ImageDisallow: /
• لمنع نوع محدد من الملفات (على سبيل المثال، .gif)، فعليك أن تستخدم ما يلي: User-agent: GooglebotDisallow: /*.gif$
• لمنع الزحف إلى صفحات موقعك مع الاستمرار في عرض إعلانات AdSense على تلك الصفحات، قم بمنع جميع برامج التتبع باستثناء Mediapartners-Google. وبذلك لا يتم عرض الصفحات ضمن نتائج البحث، ولكن يتم السماح لبرنامج الروبوت Mediapartners-Google بتحليل الصفحات لتحديد الإعلانات التي سيتم عرضها. ولا يقوم برنامج الروبوت Googlebot-MediaPartners بمشاركة الصفحات مع أنواع user-agent أخرى من Google. على سبيل المثال: User-agent: *Disallow: /folder1/User-agent: Mediapartners-GoogleAllow: /folder1/

يرجى ملاحظة أن الأوامر حساسة لحالة الأحرف. على سبيل المثال, يؤدي الأمر Disallow: /junk_file.asp إلى حظر http://www.example.com/junk_file.asp، إلا أنه يسمح بـ http://www.example.com/Junk_file.asp.
تطابقات الأنماط
يقوم Googlebot (وليس كل محركات البحث الأخرى) بمراعاة بعض تطابقات الأنماط.

• لمطابقة سلسلة من الرموز، قم باستخدام علامة النجمة (*).على سبيل المثال, لمنع الوصول إلى جميع الأدلة الفرعية التي تبدأ بكلمة "خاص": User-agent: GooglebotDisallow: /private*/
• لمنع الوصول إلى جميع عناوين URL التي تتضمن علامة الاستفهام (?) (وبتعبير أدق، أي عنوان URL يبدأ باسم نطاقك, متبوعا بأية سلسلة, متبوعة بعلامة استفهام, متبوعة بأية سلسلة): User-agent: GooglebotDisallow: /*?
• لتحديد تطابق نهاية عنوان URL ، استخدم الرمز $. على سبيل المثال، لمنع أية عناوين URL تنتهي بـ .xls: User-agent: GooglebotDisallow: /*.xls$
  يمكنك استخدام هذا النوع من تطابق النمط مع الأمر (Allow). على سبيل المثال، إذا كانت العلامة (؟) تشير إلى معرِّف جلسة عمل، فقد ترغب في استبعاد كل عناوين URL التي تحتوي عليها لضمان عدم زحف Googlebot إلى صفحات مُكرَّرة. ولكن قد تكون عناوين URL التي تنتهي بالعلامة (؟) إصدارا للصفحة التي تريد تضمينها. وفي مثل هذه الحالة، يمكنك تعيين ملف robots.txt كما يلي: User-agent: *Allow: /*?$Disallow: /*?وسيقوم الأمر Disallow: / *? بمنع أي عنوان URL يتضمن العلامة (؟). (وبصورة أكثر دقة، سيمنع أي عنوان URL يبدأ باسم نطاقك, متبوعًا بأية سلسلة, متبوعة بعلامة استفهام, متبوعة بأية سلسلة).
  وسيسمح الأمر Allow: /*?$ بأي عنوان URL ينتهي بعلامة (؟). (وبصورة أكثر دقة، سيسمح لأي عنوان URL يبدأ باسم نطاقك, متبوعًا بسلسلة, متبوعة بعلامة (؟), بدون أية أحرف بعد العلامة (؟)).

استخدام ملف robots.txt للتحكم في الوصول إلى موقعك - مساعدة أدوات مشرفي المواقع

[الهاجس]

معومات قيمة

[سوفت اون لاين]

خطوات جيدة

تسلم اخوي

يرجى ربط المواضيع في حالة تنزيل الجزء الثاني للارشفة

[jraaa7.com]

يعطيك العافيه
موضوع رائع
تم التطبيق
على المنتدى
http://forums.jraaa7.com

[Sara Tancredi]

اهلا بكم على الرحب والسعة وسيتم ربط الدرس الثاني بالأول في حال الانتهاء منه

[شبكة السيف]

ببساطة ومن الاخر

انتى استاذة

[إحساس]

ممتاز ياساره
عسى ربي يوفقك
ويكفي شهاده الوافي

[Sara Tancredi]

شكرا لكم مروركم متمنية لكم الفائدة ، شكرا أستاذ إحساس..
على الرحب والسعة