Wuu Posted August 15, 2014 Report Share Posted August 15, 2014 (edited) Vai ir metodes kā ar php meklēt "ātri" milzīgā csv failā? Vai vienīgais veids ir visu likt datubāzē? Šobrīd lasu visu failu pa rindiņai, līdz atrod id, kas aizņem 5 sec - (kurā rindas kārtībā atrodas) . Neteiksim, ka pats Excel to var izdarīt ātrāk. Edited August 15, 2014 by Wuu Quote Link to comment Share on other sites More sharing options...
rpr Posted August 15, 2014 Report Share Posted August 15, 2014 Kas ir "liels fails"? Sistēmās bez indeksiem, tas protams būs lēnāk. Nevar arī saprast, kas tev ir vajadzīgs, web interfeiss kaut kādam cms vai vienkārši izlasīt manuāli par grep. Quote Link to comment Share on other sites More sharing options...
Wuu Posted August 15, 2014 Author Report Share Posted August 15, 2014 40mb fails, izmērs augs. Vienkārši vajag atgriest rindas datus, pēc id. Quote Link to comment Share on other sites More sharing options...
qwerty Posted August 15, 2014 Report Share Posted August 15, 2014 Padomā vai kods taisa pilno pārlasi (datu meklēšanai apskata katru rindu), vai arī rīkojas gudrāk - ar indexiem. Ja tu esi uztaisījis SELECT * qvēriju un tad iemetis kaut kādā loopā, kas iet cauri visiem ierakstiem, tad tā ir pilnā pārlase, kas loģiski būs lēna. Ja tev ir kvērijs kas no DB atlasa tieši vienu interesējošo rindu, tad DB pati jau zina, ka jāpielieto indexi uz DB primary key, un neko paātrināt nevar. Quote Link to comment Share on other sites More sharing options...
rpr Posted August 15, 2014 Report Share Posted August 15, 2014 40MB nav baigi liels fails, protams, ja tu domā veidot kaut kādu cms, tad pašam būs vieglāk pārtaisīt uz sql, bet ja nav daudz lietotāji un/vai daudz pieprasījumi, tad jau var arī ar kaut kādu pseido risinājumu iztikt. Tas pats grep. Vai arī ielasi failu atmiņā un lasi no atmiņas. Risinājumi ir dažādi, bet kāds būs tev piemērotākais, tāpat vēl īsti nevar saprast. Quote Link to comment Share on other sites More sharing options...
F3llony Posted August 15, 2014 Report Share Posted August 15, 2014 Uztaisi vienreiz pārlasi CSV failam, un uztaisi indeksu - ID tāds atbilst pozīcijai failā tādai, tālāk ar fseek. Quote Link to comment Share on other sites More sharing options...
briedis Posted August 15, 2014 Report Share Posted August 15, 2014 Importē CSV datubāzē un meklē datubāzē jau pēc indeksiem... Quote Link to comment Share on other sites More sharing options...
Kasspars Posted August 15, 2014 Report Share Posted August 15, 2014 @Wuu Kā izpaužas "lasu visu failu pa rindiņai"? Kaut kā šitā $rindas = explode("\n", file_get_contents('fails.txt'));? Quote Link to comment Share on other sites More sharing options...
e-remit Posted August 15, 2014 Report Share Posted August 15, 2014 Ar exec() izsauc grep, pieņemot, ka tev *nix un php pusē būs stipri maz rindas, ko pārlasīt. ;) Tas pie nosacījuma, ka tev no tā faila vajag tikai vienu ID. Quote Link to comment Share on other sites More sharing options...
Wuu Posted August 18, 2014 Author Report Share Posted August 18, 2014 *nIx atkrīt... Izmēģināju dažādi, bet neko ātrāku pagaidām neatradu, kā visu failu ielādēt array un tad sameklēt. Tik un tā lēni :D Idejas par indexa glabāšanu, kur, kā glabāt? Ja kaut kādā datubāzē, tad neredzu jēgu. (Tad vieglāk visu failu ielādēt un aizmirst.) Var kaut kā Indexu uz paša faila glabāt? Quote Link to comment Share on other sites More sharing options...
codez Posted August 18, 2014 Report Share Posted August 18, 2014 Ja kaut kādā datubāzē, tad neredzu jēgu. (Tad vieglāk visu failu ielādēt un aizmirst.) Kā? Pats tak rakstīji, ka lēni. Ielādēsi datubāzē, tad meklēšana pēc id būs dažas ms, nevis sekundes. Quote Link to comment Share on other sites More sharing options...
Wuu Posted August 18, 2014 Author Report Share Posted August 18, 2014 Sorry pārtiecos, visu failu saglabāt datubāzē, nevis tikai indexu. Quote Link to comment Share on other sites More sharing options...
codez Posted August 18, 2014 Report Share Posted August 18, 2014 Mysql māk ielasīt CSV failus ar speciālu komandu un tas notiek diezgan ātri: http://dev.mysql.com/doc/refman/5.1/en/load-data.html Ielasi visu CSV iekš db un tālāk jau viegli. Quote Link to comment Share on other sites More sharing options...
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.