السلام عليكم جميعا
أعكف منذ ما يقارب الـ 6 أشهر على تنفيذ مشروع ضخم يحتوي على جزئيات عديدة ، و من هذه الجزئيات جزئية محرك البحث ، حيث سنقوم أنا و الزملاء بإنشاء محرك بحث متكامل ( Spider , Indexer , Search Interface )
لهذا قمنا بتجميع البحوث من CiteSeer و IEEE و Elsever التي تتحدث عن تركيب محركات البحث ، و منها ما قمنا بشرائه كاملا ، و بشكل عام فقد وجدنا بعض الـ Papers التي قدمها Larry Page و Sergey Brin ( مبتكري Google ) كبحوث ماجستير و دكتوراه في هذا المجال و الموضوع بالتحديد .
ما استغربته خلال قراءة هذه البحوث ، و ايضا من خلال التجربة ، هو ان جميع محركات البحث تقوم بالبحث في فهارس ضخمة جدا ، و لكنها لا تظهر سوى 1000 نتيجة من النتائج على الأكثر ! ، فعلى سبيل المثال عند البحث عن عبارة PHP ، ستجد عدد النتائج يتجاوز 900 مليون نتيجة ، و لكن ما يقارب 800 نتيجة هي التي تظهر فقط !! و باقي النتائج لا تظهر ، و حين محاولة العبث في العنوان الرئيسي لنتائج البحث ، تظهر هذه الرسالة من قووقل :
Sorry, Google does not serve more than 1000 results for any query
بحثنا عن أجوبة لهذا السؤال في كافة البحوث ، جميعهم يذكرون هذه الحقيقة بدون إبداء أية أسباب ؟
حاولنا البحث في الإنترنت ، الكل يسأل لا يجاوب ، و ان وجدت من يجتهد فتجد إجابات غير مقنعة و غير مبنية على حقائق علمية او على مراجع رسمية من الشركات نفسها
حاولنا تفسير ذلك ، قلنا قد يكون المقصود هو تسريع عملية البحث و عدم إرهاق السيرفر بإستخراج كامل النتائج و أستخراج اعلاها من ناحية الـ Ranking ، و لكن هذا السبب بتاتا غير مقنع لأن هناك العديد من الحلول البرمجية لهذه المسألة و لعل أولها تبادرا للذهن أسلوب التقسيم و التجميع Divide and Conqure في مسالة إستخراج البيانات Information Retrieval !!!
طرحت سؤالي هنا لعلي أجد من يجيب !
تحياتي