Archiv pro štítek: robot

Kde najít informace o crawlerech, robotech a scannerech, kteří prochází váš web

Kde najít informace o crawlerech, robotech a scannerech, kteří prochází váš web

Internet
Čím více odkazů na váš web vede, tím více různých automatických robotů jej navštěvuje. Ve většině případů se jedná o neškodné automatické skripty, které jen sbírají data. Ovšem někdy se mohou splašit a nadělat celkem dost problémů. Ostatně běžný web navštíví za den desítky i klidně stovky z nich. Přístupy jak se k nim zachovat se různí. Někdo doporučuje jít cestou whitelistování a někdo preferuje svobodu a blacklisty. (Pokračování textu…)