Kde najít informace o crawlerech, robotech a scannerech, kteří prochází váš web
Čím více odkazů na váš web vede, tím více různých automatických robotů jej navštěvuje. Ve většině případů se jedná o neškodné automatické skripty, které jen sbírají data. Ovšem někdy se mohou splašit a nadělat celkem dost problémů. Ostatně běžný web navštíví z…