يا أخي فكرة محرك البحث صعبة شوي لانو تحتاج لمساحة كبيرة و كذلك سيرفرات خاصة بمواصفات جد عالية - سيرفر و احد لا يكفي- بالاضافة الى البرنامج التشغيلي( العناكب crawlers) لفهرسة المواقع و الذى يثبت على السيرفرات هذا البرنامج لا يعمل بواجهة ويب اي يكفيه الوصول الى المواقع .
معظم العناكب عبارة عن سكريبتات .linux shell
و في هذه الحالة سيقوم السيرفر بارسال كل هذة البيانات الى قاعدة بيانات عملاقة على سيرفر مستقل بعد فهرسة ملايين المواقع .
و بعد كل هذا على هذه العناكب متابعة هذه المواقع دوريا .