أخي الكريم دكتور / مجنون
إن هذا الميتا يستخدم في حالة عدم رغبتك في استخدام ملف robots.txt في public_html
و يقوم هذا الميتا بنفس عمل هذا الملف
موقع
http://www.robotstxt.org هو الموقع الرسمي إلى ROBOTS و سوف تجد في هذه الصفحة
http://www.robotstxt.org/wc/meta-user.html
جميع المعلومات حول هذا الميتا
مثال:
<meta name="robots" content="noindex,nofollow">
هذا الميتا يقول الرجاء عدم فهرسة الصفحة و الروابط الموجوده في هذه الصفحة
مثال أخر
<meta name="robots" content="index,follow">
هذا الميتا يقول الرجال فهرسة الصفحة و الروابط الموجودة في هذه الصفحة
يمكنك أن تضع في content القيمة التالية
كود:
[LEFT]all = "ALL"
none = "NONE"
directives = directive ["," directives]
directive = index | follow
index = "INDEX" | "NOINDEX"
follow = "FOLLOW" | "NOFOLLOW"
[/LEFT]
و لكن لا يمكنك بالطبع ان تضع السطر التالي
<meta name="robots" content="INDEX,NOINDEX,NOFOLLOW,FOLLOW,FOLLOW">
حيث ان في هذا الميتا توجد اوامر متضاربه بين امر الفهرسة و عدم الفهرسة و الوصول إلى الروابط و عدم الوصول لها كما انك تلاحظ ان امر FOLLOW متكرر و هذا خطأ يسبب عدم تنفيذ الامر لانه متكرر !!