هذا افضل ملف روبتس علي الاطلاق ومستخدمه في مدونتي ..
والارشفة منتظمة وجيدة ولا يوجد اي محتوي غير مرغوب او محتوي متكرر ..
User-agent: Googlebot
Disallow: /wp-
Disallow: /search
Disallow: /feed
Disallow: /comments/feed
Disallow: /feed/$
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /external%20files/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /*feed=
Disallow: /?feed=
Disallow: /comments/
Disallow: /private/
Disallow: /*tag=
Disallow: /*?tag=
Disallow: /*m=
Disallow: /*cat=
Disallow: /*&cp=
Disallow: /*page_id=
Disallow: /*?paged=
Disallow: /*comments_popup=
Disallow: /*paged=
Allow: /*cat=6
Allow: /wp-content/uploads/
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.cgi$
# disallow all files ending with these extensions
Disallow: /*.html$
Disallow: /*.doc$
Disallow: /*.flv$
Disallow: /*.swf$
__________________
اللهم ربي لك الحمد كما ينبغي لجلال وجهك وعظيم سلطانك
سأغيب عن الانترنت وسوالف لفترة طويلة .. ان شاء الله سأعود في 2012
رد مع اقتباس
