عن طريق robots.txt ،

إرفع الملف في المجلد الرئيسي و أكتب فيه
User-agent: *
Disallow: /

و لكن لا اعلم كيفية منع الأرشفة لدومين معين ، هذا سيمنع الأرشفة لكل الدومينات إذا رفعته في مجلد الموقع ،،
------
بعد التعديل :
كذلك توجد إستفادات أخرى من robots.txt كـ منع محركات البحث من ارشفة مجلد او ملف معين ،
بهذه الطريقة:
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/


كما يمكنك منع محرك بحث معين من أرشفة صفحات الموقع ( لن يؤرشف محرك بحث msn فقط مجلد ادمين في هذا المثال ) :

User-agent: msnbot
Disallow: /admin/

هنا تجد جميع الـ Robots
http://www.robotstxt.org/wc/active/html/index.html
و عند الضغط على الرابط يمكنك الحصول على معلومات عن الروبوت و الإسم الذي يمكنك وضعه في خانة Exclusion Tag ..

أنصحك بقراءة كل ما في هذا الموقع ، ستستفيد كثيرا ..
http://www.robotstxt.org/


[CENTER]
+-+-+-+-+-+-+-+-+-+-+-+-+-+
◦•◊ w w w . D o r o o s . n e t ◊•◦
+-+-+-+-+-+-+-+-+-+-+-+-+-+
:.: E-Mail :: Alsarea3@Gmail.com :.:
:.: messenger :: msn@alsarea3.com :.:
[/CENTER]