Bots

[emsy]

Man pirms dažām dienām ienāca prātā, nezinu vai laba vai sūdīga, ideja, izveidot botu kurš ptas staigā pa lapām un ievāc simbolus, storējot tos SQL tabulā, bet es nesaprotu kā izdarīt tā, lai bots pats automātiski staigātu pa interneta vidi nolasot HTML rezultātu un izanalizētu katru doto simbolu, tā saglabāšana reāli ir sīkums. Varbūt kāds var palīdzēt vai kko ieteikt! =]

Edited April 3, 2010 by emsy

[daGrevis]

Jēga?

[emsy]

Gan jau pielietoju varētu atrast =]

[m8t]

Noteikti ka ir vairāki veidi kā to var izdarit, bet te ir viens. Neteikšu ka viņš automātiski līstu cauri lapām un to linkiem, bet gan lien cauri noteiktiem linkiem no .txt faila

 

Ideja šāda:

Izveido .txt failu ar vairākiem linkiem. Izveidolai bots nolasa šo failu pa rindiņām un katras rindiņas laikā iegūst atiecīgās lapas saturu (file_get_contents()). Kad tas ir darīts, ja gribi, vari vienkārši viņu pievienot datubāzei. Ja gribi izvilkt kādu attiecīgu keyword vai kko, tad izmanto funkciju strpos().

[briedis]

Ar regulāru izteiksmi izvelkam visus a tagad linkus no lapas, kaut kur pieglabājam, apstaigājam. Un tā tālāk... Gūglē noteikti vari atrast tādu crawleru piemērus..

 

Reku kaut kāds piemērs....

 

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL,"http://www.urlyourstart.com");
curl_setopt($ch, CURLOPT_TIMEOUT, 30); //timeout after 30 seconds
curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);
$result=curl_exec ($ch);
curl_close ($ch);
// Search The Results From The Starting Site
if( $result )
{
// I LOOK ONLY FROM TOP domains change this for your usage
preg_match_all( '/<a href="(http:\/\/www.[^0-9].+?)"/', $result, $output, PREG_SET_ORDER );

foreach( $output as $item )

{
// ALL LINKS DISPLAY HERE
print_r($item);

// NOW YOU ADD IN YOU DATABASE AND MAKE A LOOP TO ENGINE NEVER STOP


}

}

Edited April 3, 2010 by briedis

[emsy]

Fatal error: Call to undefined function curl_int()

Itkā php.ini ir extension=php_curl.dll ieslēgts :s

Edited April 3, 2010 by emsy

[briedis]

Fatal error: Call to undefined function curl_int()

Itkā php.ini ir extension=php_curl.dll ieslēgts :s

 

restartēji apači?

Pameklē vai vēl kādā mapē nav php.ini, es izmantoju xmapp, un man jālabo bija apache/bin/php.ini, nevis php/php.ini

[emsy]

1) Kā nerestartējot PC var restartēt apači

2) Atradu vienu php.ini, bet tas bija domāts, lai varētu e-pastus sūtīt

[waplet]

kas tev pa komplektāciju?

[emsy]

kas tev pa komplektāciju?

AppServ

[waplet]

1) Start>All programms>AppServ>Restart apache

2) C:\windows\php.ini

[emsy]

Restartēju, bez izmaiņām :s

[briedis]

Restartēju, bez izmaiņām :s

 

appserv mapē nav kāds php.ini?

piemēram, C:\AppServ\php5\php.ini

[waplet]

nē

[zintis8789]

C:\WINDOWS\php.ini