Dneska jsem přemýšlel nad celkem zajímavých projektem, který by monitoroval rozvíjející se český internet. Bouhžel to má jeden velký háček. Nikde není seznam všech registrovaných .cz domén. CZ NIC se rozhodl tyto data zřejmě utajit, aby je nemohli zneužít spekulanti s doménami.
Co třeba ICANN? Ten by přece mohl takovýto seznam poskytnout?
O to už se jednou někdo pokusil. V srpnu roku 2010 se jistý Barry Carter rozhodl požádat ICANN o whois data všech registrovaných TLD. ICANN mu v oficiální odpovědí oznámili, že tato data nemají a nemohou mu je tudíž zdělit. Pokud ale má zájem může zkusit požádat správce jednotlivých TLD. U gTLD by to neměl být problém, ale data o ccTLD si spravuje každá organizace k tomu určená podle sebe. Takže list registrovaných .cz domén touto cestou získat nepůjde.
Tím jsem technicky tak zhruba skončil. Další řešení už budou čistě dohledávání informace z internetu. Například by se z různých katalogů a seznamů daly získat domény. To ale bude jen zlomek. S tímto seznamem byl ale mohly pomoct IP adresy serverů, kde se nacházejí. Jistě znáte takový ten nástroj, který dohledává “sousedy”. Prostě zjistí, které domény jsou na stejné IP adrese hostované. Nás seznam by se tak mohl celkem slušně rozrůst. Navíc získaný seznam domén by obsahoval pouze aktivní kousky.
Jistě časem by se podobnými metodami člověk dopracoval k významnému procentu aktivních domén. Celá ta ochrana by se dala částečně obejít, ale proč? Proč jsou domény v zóně tak brutálně chráněné na rozdíl od osobních údajů ve whois? Celé mi to nějak nedává smysl.
Nějaký nápad?
Moja diplomovka je práve o tom ako zozbierať všetky sk domény a pracovať s dátami. Potom bude zaujímava infografika čo z toho vyjde.
Nedávno jsem taky hledal seznam domén.
Bohužel nic. :-(
Nápad zajímavý, pokud něco takového budeš realizovat, dej vědět, myslím že by se takováto databáze domén hodila více lidem…
Takovou utopií by bylo i uvedení u jednotlivých domén datum expirace a zda na jednotlivých doménách je určitý obsah nebo je doména pouze zaparkovaná a další info(ranky, stáří) nabrané z whois. Tak by se dala DBS vyoužít i pro link building aj.
Ještě nedávno si stačilo zaplatit za pár korun axfr přístup a bylo to. Viz http://www.nic.cz/files/nic/doc/smlouva_obsah_zony_200707.pdf
Stejně se to ale nesmělo veřejně zpřístupňovat.
Mimochodem – robotem by to sice šlo, ale co si vybavuju, neaktivních domén je poměrně vysoké procento…
Nebo oslovit Seznam, který by seznam aktivních domén mohl velmi rychlé poskytnout. :-)
Asi před rokem jsem se snažil podobný seznam vytvořit. Dostal jsem se asi na 480 000 kousků (tedy asi polovinu celkového počtu)
Získat ta data NENÍ až takový problém.
Co je mnohem složitější, je udržovat takový seznam aktuální (v rámci platných podmínek cz domény vpodstatě nerealizovatelné)
Jinak data z takové databáze by mě osobně velmi zajímala – kolik domén v určitém úseku mění v průměru majitele, jaká je distribuce ranků (g, s, alexa) v rámci cz (osobně mi přijde, že min. u googlu bude jiná než na .com – dostat na české doméně PR3+ je násobně snazší) a spousta dalších statistických dat.
Takže přístup CZ-NICu mě v tomto ohledu velmi mrzí, ale třeba k tomu mají nějaký pádný důvod.
Vlastnit seznam zaregistrovaných domén je poměrně lukrativní záležitost. Dají se s tím dělat zajímavé kousky, např. vyfiltrovat domény s pomlčkou a ověřit jejich bez-pomlčkovou verzi, pár niche domén tam určitě bude (nepochybuji o tom, že už to někdo udělal). Aktivně jsem používal službu http://rozhled.eu/, ze které by data šly určitě jednoduše vytahat (chybí jim tam snad jen 150k domén).
u vsech generickych je k dispozici po podpisu smlouvy zonefile … u cctld je to pouze na spravcich, takze u .cz je tato cesta mrtva.
Cca 2 roky zpatky jsem narazil na seznam top 100 ceskych majitelu domen, bylo to podle NIC-ID a figuroval jsem tam tusim na 97 miste. Nebylo to na zadnem ofiko webu registratoru, ale zcela evidentne to musel vytvorit nekdo kdo mel primy pristup na NIC. Bylo to vcetne kompletniho seznamu domen pro dane ID. Problem byl v tom, ze ja mam nekolik ruznych ID. Skutecne velci domenovi skrblici budou mit nekolik desitek ID a priradit vse co patri jednomu cloveku nebo firme tak bude problem. Na druhou stranu ty pomlckove versus bezpomlckove verze se z toho daly docela dobre vysosat.
no, pokud by to mělo být online tak to bude asi náročné na prostředky.
roboti získají jen zveřejněné domény. Neaktivní nikoliv. Takže jen mít kontakty v nic.cz a šlo by to (s rizikem postihu onoho zaměstnance).
Tohle bylo loni touto dobou celkem žhavé téma. CZ.NIC pro uzamčení přístupů k zóně neměl ani jeden důvod. Naproti tomu u generických TLD je přístup k zóně bezplatný (stačí podepsat smlouvu). I po roce mi je z nich nanic…
Koho by to zajímalo, psal jsem o tom na blogu: http://www.mujmalysvet.cz/2011/03/archiv-ceske-domeny-cznic-dava-cervenou/ — na konci jsou pak odkazy na další články a diskuse.