Minulý týden jsem si našel čas opět na můj poslední projekt volnedomeny.xyz a mohl pracovat na další fázi. Jak už jsme zmínil dříve, tento projekt má za úkol sledovat vývoj a prosazovaní nTLD v ČR. Momentálně pracuje se slovníkem 5401 slov a slovních spojení a 12 doménami prvního řádu, které jsou u nás nejoblíbenější. Roboti sledují aktivitu registrace/mazání těchto domén. Vše můžete sledovat v seznamech anebo na grafech. Abychom však mohli zjistit jestli je nějaká nTLD u nás úspěšná, tak je potřeba to ale posunout ještě dál.
Co je nového na volnedomeny.xyz
Minulý týden jsem začal připravovat architekturu pro roboty, kteří se budou starat o zjišťování, co na doménách je. Zároveň sesbírají další potřebná data pro další statistiky. Připravil jsem si podklady, navrhl nové databázové tabulky a v sobotu začal dělat na robotovi. Crawlera jsem napsal už dříve, ale pro tento konkrétní případ jsem potřeboval něco lehčího. Nechal ho postupně jet a koukal, co všechno se mi vrací za výsledky. Průběžně jsem jej vylepšoval, když se někde zasekl.
Včera jsem dalšího přidal robota, který se postará o kontinuální přísun dat z tabulek domén, do tabulky pro weby a vše napojil na CRONy. Zároveň do profilu jednotlivých slov přibyl sloupec s tím, co na doménách je.
No a samozřejmě na stránku s globálními statistikami jsem doplnil graf, kolik procent jakého obsahu se na daných TLD nachází. Celkem mě překvapilo, že živých webů z nTLD je nejvíce na .tech.
Nicméně za obsah se bere všechno, co vrátilo 200, takže to jsou i parkovací stránky hostingů. To bude chtít trochu odfiltrovat. Pokud to bylo možné, tak jsem si ukládal i velikost stránky, která se na doméně nachází. Možná z toho by šlo poznat co je webová stránka a co parkování.
Závěr
V další fázi mám v plánu připravit dalšího robota, co bude stahovat další informace o serveru, kde je doména umístěná. Hlavně IP adresu. Z té bych pak chtěl zjistit hosting. Přeci jen zajímalo by mě kdo hostuje nejvíce nTLD a co tam vlastně je.
Samozřejmě mám v plánu přidat na volnedomeny.xyz další slova a rozšířit tak množství testovaných domén. Nicméně už teď je to 64.812 domén, o kterých se musí udržovat aktuální informace, tak uvidíme.
Co se týká dalších koncovek, tak posledně jsem přidal doménu .art. Čechům dává smysl a je za dobrou cenu. Dalších takových nTLD zatím moc není. Ale uvidíme. Průběžně sleduji statistiky oblíbenosti nTLD. Přidat další není problém.