Kde najít informace o crawlerech, robotech a scannerech, kteří prochází váš web

Čím více odkazů na váš web vede, tím více různých automatických robotů jej navštěvuje. Ve většině případů se jedná o neškodné automatické skripty, které jen sbírají data. Ovšem někdy se mohou splašit a nadělat celkem dost problémů. Ostatně běžný web navštíví za den desítky i klidně stovky z nich. Přístupy jak se k nim zachovat se různí. Někdo doporučuje jít cestou whitelistování a někdo preferuje svobodu a blacklisty.

Číst dálKde najít informace o crawlerech, robotech a scannerech, kteří prochází váš web