Základem v boji o nejlepší vyhledávač je mít co možná nejvíce prošlých stránek. Prostě informace, které se zpracují do snadno indexovatelné podoby. Dnešní crawlovací roboti už nemají problém prakticky s ničím. Zvládají prakticky všechno co se nachází v běžných html dokumentech, včetně javascriptů. Nemají problém s PDF, DOC, XLS a se spousty dalšími soubory. Ne vždy tomu ale tak bylo. Pokud jste potřebovali rychle pomoct s indexací bylo potřeba si nainstalovat různé toolbary. Urychlovaly indexaci, protože informace, které jste získávali ze stránek pak proudily rovnou do centrály vyhledávačů. Vlastně to byl takový spyware, což jsou vlastně i dnes snad všechny toolbary. A je to velký byznys. Data z toolbarů využívá i vyhledávač od Microsoftu Bing, kterému se nedávno podařil takový menší přehmat. Jedna společnost  využívala pro speciální reklamní kampaň soukromá YouTube videa. Na ně odnikud nevede žádný odkaz. Byl v nich navíc umístěn, nějaký speciálně vygenerovaný kód, aby se mohly vyhodnocovat výsledky (Jednalo se o reklamní kampaň přes AdWords). Někdo z uživatelů s nainstalovaným bing toolbarem, však zapříčinil, že se do výsledků vyhledávání bing dostala stránka i se specifickým kódem. Což znehodnotilo výsledky reklamní kampaně. Dalším zajímavým případem je "kauza" allmagazineprices.com. Při přípravě projektu zjistili, že bing indexuje několik jejich stránek naprosto duplicitně. Liší se pouze v cílícim kódu AdWords. Podivovali se nad neschopností bing bota, protože nedokázal rozeznat reklamu AdSense od běžného odkazu. Podle Microsoftu jejich toolbar respektuje právo na soukromí. Informace o navštívených stránkách zasílá pouze pokud to má uživatel povolené a stránka nepoužívá https. Do indexu se dále nedostanou stránky, které to mají v robots.txt zakázané, popřípadě mají meta tag nofollow. To ovšem nemění nic na tom, že ty stránky ten toolbar uvidí a může poslat nějaké informace ven. Z druhého příkladu ale jde tak trochu strach. Představte si, že máte nainstalovaný pochybný toolbar, který pracujíc pro nějakou marketingovou firmu. Tento toolbar při vašem běžném brouzdání sbírá data a "proklikává" i odkazy na stránce. Přeci jen s dnešní rychlostí internetu není problém procházet třeba deset stránek naráz aniž by si toho uživatel všiml. Snadno tak může napáchat celkem slušné škody jak majitelům stránek, tak i inzerentům. S trochou konspirační nadsázky by tak někdo mohl ovlivňovat cenu reklamy PPC, jestli by ovládal dostatek toolbarů.