Meklēšana milzīgā csv/excel failā

[Wuu]

Vai ir metodes kā ar php meklēt "ātri" milzīgā csv failā? Vai vienīgais veids ir visu likt datubāzē?

 

Šobrīd lasu visu failu pa rindiņai, līdz atrod id, kas aizņem 5 sec - (kurā rindas kārtībā atrodas) . Neteiksim, ka pats Excel to var izdarīt ātrāk.

Edited August 15, 2014 by Wuu

[rpr]

Kas ir "liels fails"? Sistēmās bez indeksiem, tas protams būs lēnāk. Nevar arī saprast, kas tev ir vajadzīgs, web interfeiss kaut kādam cms vai vienkārši izlasīt manuāli par grep.

[Wuu]

40mb fails, izmērs augs. Vienkārši vajag atgriest rindas datus, pēc id.

[qwerty]

Padomā vai kods taisa pilno pārlasi (datu meklēšanai apskata katru rindu), vai arī rīkojas gudrāk - ar indexiem.

 

Ja tu esi uztaisījis SELECT * qvēriju un tad iemetis kaut kādā loopā, kas iet cauri visiem ierakstiem, tad tā ir pilnā pārlase, kas loģiski būs lēna.

 

Ja tev ir kvērijs kas no DB atlasa tieši vienu interesējošo rindu, tad DB pati jau zina, ka jāpielieto indexi uz DB primary key, un neko paātrināt nevar.

[rpr]

40MB nav baigi liels fails, protams, ja tu domā veidot kaut kādu cms, tad pašam būs vieglāk pārtaisīt uz sql, bet ja nav daudz lietotāji un/vai daudz pieprasījumi, tad jau var arī ar kaut kādu pseido risinājumu iztikt. Tas pats grep. Vai arī ielasi failu atmiņā un lasi no atmiņas. Risinājumi ir dažādi, bet kāds būs tev piemērotākais, tāpat vēl īsti nevar saprast.

[F3llony]

Uztaisi vienreiz pārlasi CSV failam, un uztaisi indeksu - ID tāds atbilst pozīcijai failā tādai, tālāk ar fseek. 

[briedis]

Importē CSV datubāzē un meklē datubāzē jau pēc indeksiem...

[Kasspars]

@Wuu Kā izpaužas "lasu visu failu pa rindiņai"?  Kaut kā šitā $rindas = explode("\n", file_get_contents('fails.txt'));?

[e-remit]

Ar exec() izsauc grep, pieņemot, ka tev *nix un php pusē būs stipri maz rindas, ko pārlasīt. ;)

Tas pie nosacījuma, ka tev no tā faila vajag tikai vienu ID.

[Wuu]

*nIx atkrīt... Izmēģināju dažādi, bet neko ātrāku pagaidām neatradu, kā visu failu ielādēt array un tad sameklēt. Tik un tā lēni :D

 

Idejas par indexa glabāšanu, kur, kā glabāt? Ja kaut kādā datubāzē, tad neredzu jēgu. (Tad vieglāk visu failu ielādēt un aizmirst.) Var kaut kā Indexu uz paša faila glabāt? 

[codez]

 Ja kaut kādā datubāzē, tad neredzu jēgu. (Tad vieglāk visu failu ielādēt un aizmirst.) 

 

Kā? Pats tak rakstīji, ka lēni. Ielādēsi datubāzē, tad meklēšana pēc id būs dažas ms, nevis sekundes.

[Wuu]

Sorry pārtiecos, visu failu saglabāt datubāzē, nevis tikai indexu.

[codez]

Mysql māk ielasīt CSV failus ar speciālu komandu un tas notiek diezgan ātri:

http://dev.mysql.com/doc/refman/5.1/en/load-data.html

 

Ielasi visu CSV iekš db un tālāk jau viegli.