Google adsense pravidlaPřed 10 dny se na YouTube objevila výzva Don't block Googlebot from crawling JavaScript and CSS, ve které Matt Cutts slušně žádá webmástry, aby nebránili GoogleBotovi v procházení souborů JavaScritpu a CSS. Na internetu se objevilo hned několik zajímavých diskuzí a postřehů, které rozhodně stojí za povšimnutí.

Neblokujte Googlebota před procházením JavaScriptu a CSS

"Zdravím všechny. Tady Matt Cutss. Mám tu dnes jednu veřejnou výzvu, místo odpovědi na otázku. A tato veřejná výzva je následující. Pokud bráníte Googlebotovi. před procházením JavaScriptu anebo CSS, prosím věnujte pár minut na odstranění z robots.txt. Nechte nás projít JavaScript, nechte nás projít CSS, ať lépe pochopíme co se děje na stránce. Spousta lidí tomu brání, protože si myslí, že to bude náročné na zdroje, že nechtějí přijít o bandwidth (přenes data) anebo tak něco. Ale GoogleBot je celkem chytrý co se týká procházení věcí příliš rychle. A spousta lidí dělá věci, jako testování přítomnosti flash, ale pak vkládají nějaký JavaScript. A neuvědomují si, že vložení JavaScriptu, je JavaScript zablokován*. A tak nejsme schopni procházet stránky tak efektivně jak by jsme si přáli. Navíc Google je lepší při zpracovávání JavaScriptu. Zlepšuje se v pohledu na CSS, aby rozeznal co je důležité na stránce. Takže pokud blokujete GoogleBota, rád by jsem vás požádal o trochu času. Běžte a odstraňte blokování z robots.txt, aby jste mohli pustit GoogleBota, aby lépe pochopil co se děje na stránkách, co se děje s vašimi stránkami. A toto pomůže každému, z hlediska pokud najdeme nejlepší výsledek vyhledávání, budeme jej moct vrátit výše uživateli. Takže díky, pokud nám dáte šanci. Vím, že to je běžný idiom (jazyková zvláštnost) prost jen říct lidem. Chystám se zablokovat JavaScript a CSS. Ale nemusíte to dělat. Takže prosím, aktivně nechte GoogleBota projít tito věci jako JavaScript a CSS, pokud můžete. Díky" * Nepochopil jsem jak to myslel.

Co se tedy děje?

Google nasazuje nové algoritmy, technologické postupy a metody k pochopení stránky jako celku. Většině se spíše vybaví připravovaná penalizace za Too Many Ads Above The Fold, tedy penalizaci za velké množství reklamy na stránce. Bez správného chápání rozložení prvků na stránce by provedení takovéto penalizace bylo více než obtížné. Problém je, že podle vyhledávačů se dřív nedělalo jen SEO ale také internetové stránky. Aby byly stránky srozumitelnější, přišly vyhledávače s metodami, jak ulehčit jejich pochopení. Ať už je to zmiňovaný robots.txt, sitemap.xml, nové meta tagy anebo třeba jen favicon. Většina webmástrů pod příslibem lepší indexace, či představě zvýšené návštěvnosti začala stránky dělat s přihlédnutím na nové standardy. Tak vzniklo white hat SEO. Aby se v indexu vyhledávání zbytečně neobjevovalo, co nemá některé soubory se vyřazovaly pomocí robots.txt. Google bot se totiž i dnes umí dostat přes jednoduché formuláře. Asi vás teď napadlo, tak proč to jednoduše Google u těchto souboru neignoruje? U nofollow to přeci šlo, tak proč ne tady? Protože ignorování nofollow je vlastně irelevantní. Nikdo se to nedozví, nemusí to dokonce mít ani žádné následky. Pokud projdu nofollow odkaz, ale stránka nemá noindex, tak to nemusím řešit. Klidně se dá hodit do indexu, dokonce by jsem se nedivil ani za nějaké ty pomyslné SEO body. Jenomže tohle je něco jiného. Implicitně zakázané soubory v robots.txt, na které nevedou žádné odkazy jsou tu prostě od toho, aby se na ně nechodilo. Je to soukromá záležitost vlastníka webu. Může se jednat například o adresář s textem určených jen pro určitý okruh lidí. Nemusí mít dokonce nic společného s obsahem webu. Dokonce to může být soukromý obsah. Z nějakého důvodu prostě Google nechce překročit pomyslnou čáru a nahlédnout do zakázaných URL. Já osobně jsem byl celkem překvapený. Na jednu stranu má informace o všem možném a na druhou respektovat takto soukromý veřejných internetových stránek. Možná je to také úplně jinak. Nese toto matoucí poselství nějakou zprávu? Historická anketa již není aktivní.