HTTP request pro stažení stránky/obrázku/souboru čehokoli dává tisíce různých informací – viz RFC 7230 až RFC 7235. Rozborem informací v HTTP hlavičce jde zjistit velké množství věcí.

Z těchto informací v HTTP requestu lze na 99,9 % určit, jestli jde o člověka nebo robota. Například podle User-agent stringu, jazykových nastavení, apod. Plus samozřejmě rozpoznání řady známých robotů přímo.

Tam, kde si nejsem jist, v tom 0,01 % případů vrátím jako HTTP response status 307 Temporary redirect a zároveň nastavím speciální cookies. Robot i návštěvník pak poslechne HTTP odpověď a pokusí se o nový přístup na nové mnou určené URL. Roboti ovšem přitom zahodí cookies, lidský návštěvník nikoli. Kdo zahodil cookie, s tím se nebavím a má HTTP odpověď 403 Forbidden.

jeste nam prozrad tu magii, jak rozpoznas robota od navstevnika ;)

Dělám to samé. Pro roboty mám whitelist. Kdo není na whitelistu, je blokován. Na jakýkoli request na stránku dostane HTTP chybu “403 Forbidden” a je to.

Protože spravuje v širokém rodě asi 100 PC, na všem jsou Google reklamy a JavaScriptové kódy na webech blokovány. A to tak, že v souboru C:\WINDOWS\system32\drivers\etc\hosts jsou přidány všechny Google reklamních a šmírovacích servery a přesměrovány na IP adresu 127.0.0.254. Takže bez ohledu na to, jestli webové browsery používají či nepoužívají ab block či cokoli jiného, tyto věci neprojdou. U větších domů, kde je chytřejší router pak blokuje reklamy a šmírování (zdaleka nejen od Google) firewall přímo na routeru. Lépe se to spravuje v routerech a /etc/hosts než v doplňcích pro Firefox/Chrome. A navíc mohou používat JavaScript až do aleluja…

Zkus nějaké server side měření návštěvnosti a uvidíš :)
Lidi začínají používat doplňky na blokování sledování jako je Ghostery a nebojí se blokovat všechno. Tvůrci různých adblocků, chtějí ten svůj prosadit na trhu, a tak přidávají i blokování různého šmírování. Není to moc, ale v součtu už to je znát.