Jede 1 vlákno na robota.

A ještě by mě zajímala jedna věc. V kolika procesech/vláknech to pouštíš? Já svym botem stahoval asi v 5 a teprve až za několik dní jsem se dostal na 200k staženejch URL.

Čistě v PHP.

Právě, že me to vždy blokovalo to inno, restart i s menším množstvím dat 10M trval třeba hodinu, při kterém to samozřejme neobsloužilo nikoho. Zlatá MyISAM.

To ani nemusíš dělat – stačí mít innodb_file_per_table (což je samo o sobě lepší kvůli případnému přesunu db jinam) a z nich potom číst poslední změnu. Jinak řešením je taky přejít na MariaDB kde to tuším už neobsahuje tento dávný bug (Oracle na MysSQL už dost …)

Tak klíče samozřejmě používám, bez nich by to nešlo :)
Třeba u Doménového Robota jsem na to jednou zapomněl u exportu dat a dotaz trval 12 vteřin bez klíče a s klíčem nula nula nic.

Popravdě jediný důvod proč to mám v MyISAM je, že v SHOW TABLE STATUS je uložená poslední změna, což mám kvůli monitoringu. Nové tabulky co používají anebo budou používat roboti na VS už ukládají do InnoDB a status zapisují do log souboru, který si monioring stáhne.

Restart je v pohodě, u InnoDB se dají poladit buffery aby to startovalo rychleji. Problém je, pokud budeš mít v té MyISAMové tabuli čím dál víc dat (jakmile to přeteče přes paměť i 1 řádek bude trvat uložit desítky vteřin) a pokud to budeš chtít použít pro současné čtení / zápis, rozskočí se ti celý systém pod zátěží. A pak teprve oceníš, že InnoDB to umí opravovat poměrně rychle, zatímco MyISAM tabulka takové velikosti je téměř neopravitelná