المنع عن طريق ال IP ما ينفع لأنه بيكون نزل الموقع وخلص
الطريقة انك تمنع ال User Agent، ال User Agent يعبر عن نوع المتصفح أو البرنامج اللي يقرا الموقع
ابحث في قوقل عن Bot User Agent بتسفتيد
هذا الرابط ممكن يفيدك
لكن على فكرة ال User Agent ممكن بكل سهولة تغييره لخداع الموقع ولكن هذي الطريقة بقلل منهم