Archiv pro štítek: robots.txt

Stránky zakázané v robots.txt mohou být indexovány pokud na ně vede odkaz

Stránky zakázané v robots.txt mohou být indexovány pokud na ně vede odkaz

SEO
Poměrně zásadní informaci prozradil John Mueller na Google Webmaster Central, kterou není dobré brát na lehkou váhu, protože může potenciálně způsobit problémy. Aktivní odkazy ze stránek mohou donutit GoogleBota, aby procrawloval i stránky, které jsou zakázané v robots.txt. Ten však vrátí prázdnou stránku, kterou teoreticky může zařadit do indexu. (Pokračování textu…)