Tento projekt mi skoro utekl. Myslel jsem, že se jedná jen o takovou sranda záležitost, kterou si Honza Horák dělá pro zábavu, aby si mohl hrát s big data. A ona se nám tu objevila služba zcela zdarma, za kterou se v zahraničí platí desítky dolarů měsíčně :)
Honza Horák je zakladatel Gransy s.r.o, což je pod značkou Subreg jeden z nejznámějších registrátorů domén v ČR a momentálně jediný čistě český akreditovaný registrátor ICANN. V současné době spravuje nějakých 400K domén a má přes 100 akreditací pro různé TLD. Honza nedávno spustil World hosting a před pár lety celkem zajímavou službu Anycastdns.cz. Možná toho bylo více, ale tyto dvě mi utkvěli v paměti. Teď si hraje s big data v novém projektu domaindata.cz. Přístup ke zpracovaným datům je prozatím zdarma a rozhodně byste toho měli využít ;)
Na domaindata.cz zadáte svoji doménu a v tabulce uvidíte, které domény na vás odkazují. V další tabulce pak seznam odkazů, zdali jsou nofollow a jaký je text. V podstatě tato data většinou najdete v Search Console, ale pouze pro svou doménu. Pokud jde o to zjistit, kdo odkazuje na konkurenci, tak už je to složitější a ucelená data mají jen placené služby. Projekt domaindata.cz bychom si tedy měli vážit a ocenit. Prozatím stačí, abyste třeba na Twitter napsali Honzovi nějakou pochvalu, případně dali follow. Přeci jen dělá to zdarma ;)
Na Twitter najdete zajímavé informace ze zákulisí celého projektu. Například, že za duben 2019 do systému přibyla 1 miliarda odkazů anebo že data importoval ve 600 vláknech na 150 VPS s 4 CPU.
V současné době by měl mít v systému celkem 5 miliard zpětných odkazů. To jsou neuvěřitelná čísla …
Je to teda pěkně zdechlé (desitky sekund). nevím, jestli to není nenadálým zájmem po napsání tohoto článku ;)
Chtělo by vědět, jaké to má ambice. Zatím index není moc bohatý a když nad tím kdokoli jen trochu popřemýšlí…. další zbytečný robot. Každý x-tý si vymyslí robota a nechá procházet pokud možno spousty stránek a hrabe data. Což o to, jen na analytiku to není tak špatný, ale v tom počtu co roboti existují jde o neudržitelný vývoj. Věřím, že lidé nedělají tolik provozu, jako všichni roboti. Platíme drahé servery, marníme elektřinu pro CPU pro roboty? Jsem si jistý, že pokud tento robot už není na mém black listu brzy se nominuje.
Tady zadny novy robot ani neni :) takze smysl prispevku nechapu :D
aha. Odkud se berou data, když to není od robota?
Z commoncrawl.org
Davaji ty data public, takze pokud mas kapacity a technologie na zpracovani tech XX TB dat, muzes si samozrejme takovy system udelat sam.
aha, tak to pardon. To mě vůbec… :) Ale poselství je jasné akorát ne pro tebe/vás.
Jsem rád, že konečně vím, proč mi hltal strany amazonaws.com :)