Komentáře: Kde najít informace o crawlerech, robotech a scannerech, kteří prochází váš web https://404m.com/2018/05/30/kde-najit-informace-o-crawlerech-robotech-a-scannerech-kteri-prochazi-vas-web/ Blog o doménách, investování a internetovém podnikání Wed, 30 May 2018 08:45:41 +0000 hourly 1 https://wordpress.org/?v=6.0.3 Od: Poradna https://404m.com/2018/05/30/kde-najit-informace-o-crawlerech-robotech-a-scannerech-kteri-prochazi-vas-web/comment-page-1/#comment-297913 Wed, 30 May 2018 08:45:41 +0000 https://404m.com/?p=17069#comment-297913 Roboti zpravidla nemají nastavený jazyk, který používají. Takže pokud se nepřizná, že je crawler jde takto celkem spolehlivě poznat + počet stran za min.

]]> Od: Poradna https://404m.com/2018/05/30/kde-najit-informace-o-crawlerech-robotech-a-scannerech-kteri-prochazi-vas-web/comment-page-1/#comment-297912 Wed, 30 May 2018 08:42:25 +0000 https://404m.com/?p=17069#comment-297912 Crawlery si tvrdě hlídám, jakmile překočí nějaký z nich určitou hranici přístupů za měsíc a není pro mě přínosný jde na black list. Nonstop si hlidám všechny IP crawlerů, takže v okamžiku blokace už mám velmi slušný seznam IP adres, které používá. Jen za rok 2018 už mám 10.000 UIP crawlerů.

Drtivá většina nerespektuje zákaz v robots, ani ty co se uvádí jako slušné.

Potírám i ahrefs apd. Je to jen lákadlo pro spamery, který potírám taky, velmi slušně. :-D

]]>