Komentáře: Blokovat anebo neblokovat roboty, kteří prodávají informace o odkazech? https://404m.com/2016/04/22/blokovat-anebo-neblokovat-roboty-kteri-prodavaji-informace-o-odkazech/ Blog o doménách, investování a internetovém podnikání Fri, 22 Apr 2016 17:47:46 +0000 hourly 1 https://wordpress.org/?v=6.0.3 Od: admin https://404m.com/2016/04/22/blokovat-anebo-neblokovat-roboty-kteri-prodavaji-informace-o-odkazech/comment-page-1/#comment-273675 Fri, 22 Apr 2016 17:47:46 +0000 http://404m.com/?p=14961#comment-273675 Odpověď na Jan.

jj na ten Seznam je třeba dávat si pozor :)

]]> Od: Jan https://404m.com/2016/04/22/blokovat-anebo-neblokovat-roboty-kteri-prodavaji-informace-o-odkazech/comment-page-1/#comment-273674 Fri, 22 Apr 2016 17:38:57 +0000 http://404m.com/?p=14961#comment-273674 Určitě blokovat, ale seznam si udělat vlastní. Já osobně blokuju každou IP na půl hodky pokud během minuty stáhne více jak 150 stránek (google a seznam ve whitelistu). Dokud jsem to nedělal tak jsem jen a jen posiloval HW. Nicméně více zatím neřeším, ale mám to v plánu. Jinak jsem setkal i s crawlerem z amazon AWS, zvažuju bloknout celý amazon.

btw. letmo jsem si prošel ten blacklist co zminuješ, vtipné je že tam je celý rozsah seznam.cz :-)

]]>