<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>robots.txt &#8211; 404M.COM</title>
	<atom:link href="https://404m.com/tag/robots-txt/feed/" rel="self" type="application/rss+xml" />
	<link>https://404m.com</link>
	<description>Blog o doménách, investování a internetovém podnikání</description>
	<lastBuildDate>Thu, 14 Jun 2018 23:59:38 +0000</lastBuildDate>
	<language>cs</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	<generator>https://wordpress.org/?v=6.0.3</generator>
	<item>
		<title>Stránky zakázané v robots.txt mohou být indexovány pokud na ně vede odkaz</title>
		<link>https://404m.com/2018/06/15/stranky-zakazane-v-robots-txt-mohou-byt-indexovany-pokud-na-ne-vede-odkaz/</link>
					<comments>https://404m.com/2018/06/15/stranky-zakazane-v-robots-txt-mohou-byt-indexovany-pokud-na-ne-vede-odkaz/#comments</comments>
		
		<dc:creator><![CDATA[admin]]></dc:creator>
		<pubDate>Thu, 14 Jun 2018 23:59:38 +0000</pubDate>
				<category><![CDATA[SEO]]></category>
		<category><![CDATA[google]]></category>
		<category><![CDATA[robots.txt]]></category>
		<guid isPermaLink="false">https://404m.com/?p=17123</guid>

					<description><![CDATA[Poměrně zásadní informaci prozradil John Mueller na Google Webmaster Central, kterou není dobré brát na lehkou váhu, protože může potenciálně způsobit problémy. Aktivní odkazy ze stránek mohou donutit GoogleBota, aby procrawloval i stránky, které jsou zakázané v robots.txt. Ten však vrátí prázdnou stránku, kterou teoreticky může zařadit do indexu. V podstatě GoogleBot navštíví jakýkoliv odkaz, který najde na stránce. Jeho úkolem je procházet internet a hledat informace. Jde i tam, kde to má zakázané, protože hledá další odkazy, které jej posunou k dalšímu obsahu. Zajímavá je však situace, kdy se dostane na stránku, kterou mu zakážete procházet, například přes robots.txt. V ten okamžik se totiž začne řídit pravidlem v robots.txt a slušně vrátí žádný obsah &#8211; prázdnou stránku. Chtělo by&#8230; ]]></description>
		
					<wfw:commentRss>https://404m.com/2018/06/15/stranky-zakazane-v-robots-txt-mohou-byt-indexovany-pokud-na-ne-vede-odkaz/feed/</wfw:commentRss>
			<slash:comments>1</slash:comments>
		
		
			</item>
	</channel>
</rss>
