Stránky zakázané v robots.txt mohou být indexovány pokud na ně vede odkaz

Poměrně zásadní informaci prozradil John Mueller na Google Webmaster Central, kterou není dobré brát na lehkou váhu, protože může potenciálně způsobit problémy. Aktivní odkazy ze stránek mohou donutit GoogleBota, aby procrawloval i stránky, které jsou zakázané v robots.txt. Ten však vrátí prázdnou stránku, kterou teoreticky může zařadit do indexu.

Pokračovat ve čtení Stránky zakázané v robots.txt mohou být indexovány pokud na ně vede odkaz