Actualités
Le fichier robots.txt est une bonne source d'information pour tous les spiders qui veulent accéder à des ressources que vous ne souhaitez pas voir indexées. En fait, le principe est même assez évident : robots.txt contient la liste publique des fichiers et dossiers qui doivent rester privés.
Alors, pour se protéger, vous pouvez utiliser ce même fichier robots.txt pour identifier ceux qui s'en servent comme base d'analyse, et vont analyser le site. En ajoutant quelques scripts anodins qui vont noter les violations du robots.txt, et bloquer les IP, vous pourrez vous prémunir contre ceux qui cherchent à abuser de votre site.
Alors, pour se protéger, vous pouvez utiliser ce même fichier robots.txt pour identifier ceux qui s'en servent comme base d'analyse, et vont analyser le site. En ajoutant quelques scripts anodins qui vont noter les violations du robots.txt, et bloquer les IP, vous pourrez vous prémunir contre ceux qui cherchent à abuser de votre site.
A Simple PHP based Bad-Bot Trap (198 visites)
Commentaires
Vous pouvez ajouter votre commentaire! |
Vous devez vous connecter pour commenter