السلام عليكم
الكثير يسأل عن ملف robots.txt
الذي يجعلك تتحكم بطريقة تصفح محرك البحث لموقعك..
أنا أقول..
أولاً تفتح ملف جديد و تسميه بإسم robots.txt
و تضعه في المجلد الرئيسي لموقعك..
و لكن ماذا تضع داخله؟
إذا أردت كل محركات البحث أن تتصفح و تتبع جميع الروابط دون استثناء اكتب:
User-agent: *
Disallow:
إذا أردت محرك بحث معين مثل قوقل اكتب:
User-agent: googlebot
إذا أردت منع محركات البحث من تصفح صفحة معينة اكتب:
Disallow: email.htm
إذا أردتها أن تمنعها من مجلد كامل.. اكتب:
Disallow: /cgi-bin/
هذه تمنع كل المحركات من تصفح موقعك بالكامل:
User-agent: *
Disallow: /
هذه تمنع محرك بحث معين من تصفح موقعك:
User-agent: Roverdog
Disallow: /
آخر مثال... تمنع محرك بحث معين من تصفح صفحة معينة:
User-agent: googlebot
Disallow: cheese.htm
و إذا أردت أن تكتب كلام بجانب الكود و لا يفهمه محرك البحث (حتى تتعرف لماذا كتبت الكود) اكتب:
Disallow: bob #comment
لاحظ أن ما بعد # سيهملك محرك البحث (في نفس السطر)
كل ما عليك.. وضع الكود و حفظه! و أنا أفضل الذي يجعلك جميع المحركات يتصفحون كل الموقع..
بالتوفيق..
و السلام عليكم...