Už ani nevím kolikátý den to vlastně můj komp jede v kuse a shání surová data pro nadcházející projekty. Na kontrolce mi hlásí Session 110900 což odpovídá zhruba 55% pokroku. Bouhžel dneska v sedm ráno nám vypnou poud takže budu muset kompa na noc vypnout. Konečně si alespoň odpočine. Zatím jakýkoliv pokus o urychlení scanu měl negativní dopad, takže jedu standatně přes 3 proxy servry. Pokud někdo plánujete, že budete nějakým způsobem shromaždovat slovní spojení tak vás od toho musím odradit - je to vážně nuda. Takže co si od toho ultra zdlouhavého projektu vlastně slibuju? Jakmile budou data stažena (počítám tak 70MB MySQL) začnu jejich analýzu. Pomocí několika algoritmů je postupně vytřídím na ty použitelné a zbytečné. Vyberu z toho tak 20K záznamů (z 1M) a z nich pak vytvořím dseznam10, což bude nástupcem dseznam09. Snad tentokrát uspokojim naprosto všechny. Další možný projekt, který se z těchto dat dá vytvořit je oblíbená slovní spojení. Zadáte slovo a v databázy se najdou všechna spojení s tímto slovem. Mohlo by to slušně pomoct webmástrům pro optimalizaci webu. Pokud by někdo udělal nějakou detailnější statistiku hledanosti pro každé slovo mohlo by z toho vzniknout něco jako legendární overture nástroj, který se poměrně úspěšně používal pro určení jestli může mít doména nějaky type in traffik. Bouhžel už na tento nástroj nemám odkaz, poslední reinstall ho vzal sebou do binárního nebe. Pokud někdo máte tak můžete hodit do diskuze pod příspěvkem. Možnosti surovích dat, ale nekončí. Pokud by se slovní spojení vytřídila mohl by v klidu vzniknout nástroj jako je můj DomainWalker, dokonce daleko efektivnější protože by měl i používané více slovné spojení a ne jen obyčejná slova ze tří slovníků. Ovšem neumím si předtsavit na to ještě kontrolovat volnost domény. Trvalo by to dny a bez nějakého algoritmu, který by určit která může mít hodnotu by to bylo nekonečné pak procházet ty seznami. No možností co s harvestovanými daty pak udělat je spousta, zatím chci hlavně udělat další dseznam. Další možnosti se uvidí.