هذا معناتها انك لم تضع ملف robots.txt <<ملف robots.txt الشهير للتحكم في عناكب البحث Spiders
هذا الملف مو مطلب لكن اذا وضعته افضل لأنه باب عناكب محركات البحث
صاحب الموقع
ليست من الضروري وجودها, لكن مستحسن لاضافة اسم الشركة (صاحب الموقع) مع الصفحات المؤرشفة.