marrtins, nekādu problēmu... PID faili ar aktuālu stāvokli :)
C++ threadam tas būtu - pointeri... turklāt ja neatsaista procesus, tad viens memory leaks un visa sistēma gar zemi... savukārt decentralizēta sistēma vnk ownēs visus pārējos.
system crawler <-> [1..N] data crawlers <-> [1..N] DB servers
=====
betons, es nešaubos, ka C++ sakārtos ātrāk... bet kā tu iedomājies, kur tos ciparus C++ ņems, ja ne no diska!? Vispār tavs piemērs nonsense... Šeit it runa par datu savācēju... viņam nekas nav jāsortē! Un es pat teiktu tam datu-savācējam to nekādā gadījumā nevajadzētu darīt:
- pieprasījums
- texta/datu pārsēšana
- saglabāšana
Sortēšanu un pēc-apstrādi lai veic SQL + attiecīgs serviss uz dedicated servera.