السايت ماب لايوجد ضرر
لكن هذا الامر خاطئ
كود:
User-agent: googlebot
Disallow: /cgi-bin/
لانه موجه مباشره الى عناكب جوجل
بالتالي جوجل سوف تقرأ فقط هذا الامر وتترك
كود:
User-agent: *
Disallow: /vb/frame.html
Disallow: /vb/popup1.html
Disallow: /vb/popup2.html
Disallow: /vb/*.php
Allow: /vb/index.php
Allow: /vb/showthread.php
Allow: /vb/forumdisplay.php
Disallow: /cgi-bin/
Disallow: /images/
بالتالي كل صفحه سوف يتم ارشفتها لديك وهذا خاطئ
انا افضل دائماً استخدام * بدل اسم العناكب
لانها في الاصل كلها تقرأ الملف بنفس الطريقه تقريباً
في شي نسيته وهو مهم
اذا كنت تستخدم اعلانات جوجل فيجب وضع هذا الامر
كود:
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
فهو موجه اليها وتعطيه اشاره بان يدخل اي مكان
يصبح شكل الملف لديك بهذا الشكل
كود:
User-agent: *
Disallow: /vb/frame.html
Disallow: /vb/popup1.html
Disallow: /vb/popup2.html
Disallow: /vb/*.php
Allow: /vb/index.php
Allow: /vb/showthread.php
Allow: /vb/forumdisplay.php
Disallow: /cgi-bin/
Disallow: /images/
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
Sitemap: http://amiraa.com/dlil/sitemap.xml
Sitemap: http://amiraa.com/clip/sitemap.xml
Sitemap: http://amiraa.com/gala/sitemap.xml
Sitemap: http://amiraa.com/games/sitemap.xml
Sitemap: http://amiraa.com/gwal/sitemap.xml
Sitemap: http://amiraa.com/smiles/sitemap.xml
Sitemap: http://amiraa.com/vb/sitemap.php
Sitemap: http://www.amiraa.com/msl/sitemap.php
Sitemap: http://amiraa.com/vb/sitemap_index.xml.gz
Sitemap: http://www.amiraa.com/mktba/sitemap.php