السلام عليكم ورحمة الله وبركاته
دخلت قبل قليل الى ملف robots.txt الخاص بسوالف :
http://www.swalif.net/robots.txt
ووجدت ان اغلب الروبوتات تم منعها من ارشفة الموقع !!
طيب توجد طريقة اعتقد اسهل مما تم عمله في سوالف , مثال :
وفي المثال يكون الوضع السماح لروبوت قوقل فقط بأرشفة الموقع , اما بقية الروبوتات يتم منعهاكود PHP:
User-agent: Google
Disallow:
User-agent: *
Disallow: /
ما رأيكم ؟