Zefirs Posted February 9, 2015 Report Share Posted February 9, 2015 (edited) Cik legāli ir izmantot crawleri interneta veikalu preču cenu apkopošanai?Ideja sekojoša:Veikt vairāku veikalu preču cenu ievākšanu, salīdzināt tālāk cenas starp tiem, tālāk atskaiti ar cenu atšķirībām pārdot kā pakalpojumu.Vai kādam ir pieredze cik šis ir legāli pēc Latvijas likumdošanas? Edited February 9, 2015 by Zefirs Quote Link to comment Share on other sites More sharing options...
F3llony Posted February 9, 2015 Report Share Posted February 9, 2015 Tik pat legāli, cik staigāt gar veikalu skatlogiem un norakstīt cenas. Protams, ja vien tu nescrapo ar tādu intensitāti, ka veikalam jāmet vēl 10 serveri lai tavus botus apkalpotu. Tad gan vari nedaudz norauties (darbības traucēšana). Un pieņemu, ka veikali nebūs ar tevi īpaši priecīgi. Mainīsi IP reizi dienā. :) Quote Link to comment Share on other sites More sharing options...
Kasspars Posted February 9, 2015 Report Share Posted February 9, 2015 Uztaisi ļoti apmeklētu saitu. Ieliec javaskriptu, kas no klienta pieprasa veikala linku un nosūta uz tavu serveri. Neviens admin neizkodīs no kādas ip tu krawlē veikalu :) Man šķiet, ka lv ir tikai daži veikali, kuriem ir dedicated progrmmētājs. Pārējiem veiklu īpašniekiem īsti pat nav veidu kā uzzināt krwlētājus Quote Link to comment Share on other sites More sharing options...
Zefirs Posted February 9, 2015 Author Report Share Posted February 9, 2015 Problēmas ar IP risināt var izmantojot Tor. Quote Link to comment Share on other sites More sharing options...
F3llony Posted February 9, 2015 Report Share Posted February 9, 2015 (edited) Problēmas ar IP risināt var izmantojot Tor. Nē, nevar gan. visas TOR exit nodes ir pieejamas DNSBL. tādu pilsoņu, kā Tu, dēļ TOR nav iespējams leģitīmi lietot tiem, kam tas tiešām nepieciešams jo pretty much visi bloķē TOR trafiku tieši šādu tizlu izdarību dēļ. Uztaisi ļoti apmeklētu saitu. Ieliec javaskriptu, kas no klienta pieprasa veikala linku un nosūta uz tavu serveri. Neviens admin neizkodīs no kādas ip tu krawlē veikalu :) Man šķiet, ka lv ir tikai daži veikali, kuriem ir dedicated progrmmētājs. Pārējiem veiklu īpašniekiem īsti pat nav veidu kā uzzināt krwlētājus Cross origin, referrer? Erm... Diez vai... Edited February 9, 2015 by F3llony Quote Link to comment Share on other sites More sharing options...
Kasspars Posted February 9, 2015 Report Share Posted February 9, 2015 ^ tiešām! Būs jādomā cits variants :) Quote Link to comment Share on other sites More sharing options...
F3llony Posted February 9, 2015 Report Share Posted February 9, 2015 Tīri teorētiski man jau mētājas gatavs node projekts, kas dara tieši šo, tikai ar to atšķirību, ka konkrētiem veikaliem - monitorē konkurentu cenas. Rakstīts ar PhantomJS un darbojās tīri adekvāti, kamēr admini otrā pusē neuzķēra dīvainu trafiku un nesāka bloķēt. Nav jau gluži tā, ka dienas laikā vairākus desmitus tūkstošus hitu pret preču lapām neviens nepamanīs. Quote Link to comment Share on other sites More sharing options...
briedis Posted February 9, 2015 Report Share Posted February 9, 2015 Uztaisi ļoti apmeklētu saitu. Ieliec javaskriptu, kas no klienta pieprasa veikala linku un nosūta uz tavu serveri. Neviens admin neizkodīs no kādas ip tu krawlē veikalu :) Man šķiet, ka lv ir tikai daži veikali, kuriem ir dedicated progrmmētājs. Pārējiem veiklu īpašniekiem īsti pat nav veidu kā uzzināt krwlētājus Nezinu gan kā tu tiksi galā ar cross-domain problēmām. Normāls pārlūks neļaus fetchot ārējo lapu un dabūt tās saturu, ja vien tā lapa to nav atļāvusi. Quote Link to comment Share on other sites More sharing options...
Kasspars Posted February 9, 2015 Report Share Posted February 9, 2015 (edited) Jā, jā, es saprotu ar pirmo reizi! Tad ir jātaisa populāra native app Edited February 9, 2015 by Kasspars Quote Link to comment Share on other sites More sharing options...
l27 Posted February 9, 2015 Report Share Posted February 9, 2015 slaidzini.lv tieši sāka ar visu interneta veikalu cenu savākšanu. Bija gan dažādi mēģinājumi bloķēt ip. Quote Link to comment Share on other sites More sharing options...
l27 Posted February 9, 2015 Report Share Posted February 9, 2015 Nezinu, kam būs vajadzīgs pakalpojums par cenu atšķirību, jo lielākā daļa veikalu preces ņem no vieniem un tiem pašiem piegādātājiem. Ir arī softs ext.site.lv, kas veikaliem atjauno datus par precu pieejamību, cenu un laikam arī pieliek automātiski veikala komisiju. Quote Link to comment Share on other sites More sharing options...
marrtins Posted February 9, 2015 Report Share Posted February 9, 2015 slaidzini.lv tieši sāka ar visu interneta veikalu cenu savākšanu. Bija gan dažādi mēģinājumi bloķēt ip.Un tagad paši maksā un exportē XML, lai tur parādītos :D Quote Link to comment Share on other sites More sharing options...
Zefirs Posted February 10, 2015 Author Report Share Posted February 10, 2015 Pārdomājot F3llony teikto izdomāju citu veidu IP ban risinājumam: Izmantojot DigitalOcean API veidot droplets katrā reģionā, kurus izmantot kā proxy crawlerim. Līdz ko dropleta ip tiek banota un pieprasījumi atgriež kļūdu, droplets tiek automātiski dzēsts, tā vietā izveido jaunu ar citu ip jau.Katrs nākamais droplet būtu citā reģionā (ip range mainās), katram droplet būtu unikāla ip adrese.Šo visu var automatizēt un veikt droplet rotāciju sistemātiski vai pacelt vairākus droplets un rotēt starp tiem.Varbūt kādam ir pieredze DigitalOcean API v2? Cik saprota tā vēl ir betas stadijā. Quote Link to comment Share on other sites More sharing options...
briedis Posted February 10, 2015 Report Share Posted February 10, 2015 Gan jau DO ir dropletu limits. Quote Link to comment Share on other sites More sharing options...
Plutons Posted February 10, 2015 Report Share Posted February 10, 2015 Vienlaicīgi ja nemaldos var būt 10 dropleti Quote Link to comment Share on other sites More sharing options...
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.