Kress Posted July 3, 2008 Report Share Posted July 3, 2008 Labdien! Man ir divi jautājumi: 1. Ir doma veidot globālu interneta projektu un izmantot visai neierastu datu uzglabāšanas metodi. Kas un cik daudz kuram no Jums ir zināms par Sony PlayStation 3 vai XBOX 360 saslēgšanu kopā, izmantojot clusters metodi? Tipiskā servera vietā vairākas spēļu konsoles uz Linux bāzes. Man ir informācija, ka šādu metodi pielieto, tāpēc jautāju kādam zinošam foruma biedram. 2. Kāds ir vajadzīgais datu plūsmas ienakošais un izejošais ātrums serverim, kurš apkalpo 10 000 lielu auditoriju? Paldies!! Link to comment Share on other sites More sharing options...
andrisp Posted July 3, 2008 Report Share Posted July 3, 2008 Vai ir vērts ? Link to comment Share on other sites More sharing options...
Kress Posted July 3, 2008 Author Report Share Posted July 3, 2008 Spēļu konsolēm kā piemēram SPS 3 datu apstrādes ātrums ir liels. Ja saslēdz piecas šādas konsoles, tad rezultātā sanāk spēcīgs serveris vai tā? Es nezinu vai ir vērts...tapēc jautāju kādam, kurš zina. Link to comment Share on other sites More sharing options...
Aleksejs Posted July 3, 2008 Report Share Posted July 3, 2008 Kress, tas lielais datu apstrādes ātrums ir pie nosacījuma, ja Tev ir programmatūra, kas spēj izmantotot Cell arhitektūru. Parasti uzdevumi, kurus baigi forši ir ar šādiem klāsteriem risināmi ir ļoti specifiski, nu piemēram #D renderēšana, vai fizikālo procesu analīze un simulēšana, viskautkas, kas padodas paralelizācijai. Standarta datubāze vai vēl jo vairāk webserveris nav šīs klases programmatūra ;) http://en.wikipedia.org/wiki/Cell_%28microprocessor%29 Cluster computing Clusters of PlayStation 3 consoles are an attractive alternative to high-end systems based on Cell blades. Innovative Computing Laboratory, a group led by Jack Dongarra, in the Computer Science Department at the University of Tennessee, investigated such an application in depth.[37] Terrasoft Solutions is selling 8-node and 32-node PS3 clusters with Yellow Dog Linux pre-installed, an implementation of Dongarra's research. As reported by Wired Magazine on October, 17, 2007, an interesting application of using PlayStation 3 in a cluster configuration was implemented by Astrophysicist Dr. Gaurav Khanna who replaced time used on supercomputers with a cluster of eight PlayStation 3s.[38] The computational Biochemistry and Biophysics lab at the Universitat Pompeu Fabra, in Barcelona, deployed in 2007 a BOINC system called PS3GRID[39] for collaborative computing based on the CellMD software, the first one designed specifically for the Cell processor. [edit] Distributed Computing With the help of the computing power of over half a million PlayStation 3 consoles, the distributed computing project Folding@Home has been recognized by Guinness World Records as the most powerful distributed network in the world. The first record was achieved on September 16, 2007, as the project surpassed one petaFLOPS, which had never been reached before by a distributed computing network. Additionally, the collective efforts enabled PS3 alone to reach the petaFLOPS mark on September 23, 2007. In comparison, the world's second most powerful supercomputer, IBM's BlueGene/L, performs around 280.6 teraFLOPS. This means Folding@Home's computing power is approximately four times BlueGene/L's (although the CPU interconnect in BlueGene/L is more than one million times faster than the mean network speed in Folding@Home.) Link to comment Share on other sites More sharing options...
Klez Posted July 3, 2008 Report Share Posted July 3, 2008 (edited) mazliet info ps3 kluusteris http://moss.csc.ncsu.edu/~mueller/cluster/ps3/ uz visiem ps3 ir linux Edited July 3, 2008 by Klez Link to comment Share on other sites More sharing options...
Kress Posted July 3, 2008 Author Report Share Posted July 3, 2008 (edited) Tad sanāk, ka šāda metode nav labākā aizstājot ierasto serveri. Teiksmi, ja tiek veidot meklētājs ar ietvertu datu bāzi kā piem. Google. Vai šajā gadījumā šāds risinājums ir derīgs uz SPS 3 izmantojot cluster? Edited July 3, 2008 by Kress Link to comment Share on other sites More sharing options...
Aleksejs Posted July 3, 2008 Report Share Posted July 3, 2008 Jā, tā nav labākā aizstājot ierasto serveri. Datubāze varētu potenciāli griezties uz šāda, ja atradīsi datu bāzi, kas būvēta Cell arhitektūrai... Droši vien ir kādas darbības (tikai minu) kā full text search utt, kuras varētu masīvi paralelizēt... Link to comment Share on other sites More sharing options...
Kress Posted July 3, 2008 Author Report Share Posted July 3, 2008 Kāpēc man aizrava šī ideja par SPS 3 saslēgšanu kopā? Par cik šīm sistēmām ir spēcīgi procesori un pietiekosi liela atmiņa - nu jau 80 GB, tad saslēdzot pāris šādas kopā, sistēma iegūst spēcīgu dzinēju, kas cenas ziņā ir nesalīdzinoši letāk + tam visam ir lielāka jauda datu apstrādei. Projekta mērķis ir meklētās ar savu datu bāzi un sākotnējo auditoriju līdz 10 000. Ja teiksmi piem. ( arī tikai domāju ) varētu teorētiski saslēgt šādu sistēmu tikai datu bāzei, ja tas ir vajadzīgs un apvienot ar vienu serveri, tad rezultātā datu bāze būtu uz SPS 3 sistēmas, bet pašu portālu darbinātu viens centrālais serveris. Pieņemu, ka es kļūdos ... Link to comment Share on other sites More sharing options...
Roze Posted July 3, 2008 Report Share Posted July 3, 2008 Droši vien ir kādas darbības (tikai minu) kā full text search utt, kuras varētu masīvi paralelizēt... Redz atbildot uz šo un arī sākotnēja posta autora ideju - faktiski ieguvumu nebūs nekādu. Jo visās DB sistēmās šaurais gals (bottleneck) ir disku sistēma un nevis CPU.. CPU lielākoties dzīvojas tikai gaidot uz datiem (IOwait), līdz ar to praktiski šādu clusteri var darbīnāt tikai tad ja tam pieslēdz jaudīgu storagu (aka fiber/optical hdd) vai arī pavairāk ramu kur visus datus sabakāt apstrādei.. Ja tiešām gribās CPU jaudu ir nedaudz vienkāršāks risinājums imho ir no nVidias ( http://www.nvidia.com/object/tesla_computing_solutions.html ) izmantot viņu GPU (var sākot pat uz parastajām 88xx geforcēm ) un Cudu ( http://www.nvidia.com/object/cuda_home.html ) , problema gan ir salīdzinoši mazais ram apjoms (1+Gb parastajām pci kartētm tikai) kas zināmā mērā liedz fiksi piegādāt paliela apjoma datus.. sistēmas atmiņas izmantošana akal ir zināma ķeska. Bet es pieņemu ka nvidia domā par to. Link to comment Share on other sites More sharing options...
codez Posted July 3, 2008 Report Share Posted July 3, 2008 Es iesaku nodarboties tikai ar vienu lietu. Ja izstrādā aplikāciju, tad aplikāciju un pelnīt ar to, serverus uzticēt to ziņā, kas ar to nodarbojas (nomāt). Ja darbojas ar serveriem, tad darboties ar serveriem un tos iznomāt un pelnīt savukārt ar to. Link to comment Share on other sites More sharing options...
Kress Posted July 3, 2008 Author Report Share Posted July 3, 2008 Kas man ir svarīgi? Ne tik lielā mērā CPU, bet datu apmaiņas ātrums pie mazākiem izmēriem un resursiem. Projekts, kuru vēlos īstenot, ir liels un tā starta ātrums īsti nav prognazējams. Viņš var aiziet ar lielu ātrumu jau pašā sākumā. Pats biedējošākais visiem lielajiem projektiem ir ātrie attīstības tempi un, ja nav resursu ( kas lielākajā gadījumu tā arī ir ), tad rodas problēmas un lielas. No otras puses neviens projekts nav attīstījies bez grūtībām un prasme tās pārvarēt - tas ir noteicošais faktors izdzīvos projekts un gūs atzinību vai cietīs sakāvi. Es pret šīm lietām izturos ar lielu vērību, tāpēc man jāatrod labakāis tehniskais risinājums ar ierobežotiem līdzekļiem. Man nav visai lielas zināšanas tehniskajās lietās, bet es atri mācos :) Es bez skolas un teorētiskām zināšanām esmu veidojis solīdas web lapas savam biznesam kā Jūs visi, bet nu ir pienācis laiks, kad man jāmācās vēl ātrāk un nav laika burties grāmatās un veltīt mēnešiem laika informācijas analīzei. Link to comment Share on other sites More sharing options...
Aleksejs Posted July 3, 2008 Report Share Posted July 3, 2008 Scale Later You don't have a scaling problem yet ;) Iesaku izlasīt visu grāmatiņu - nav gara, es pāris stundās tiku galā ;) Link to comment Share on other sites More sharing options...
Kress Posted July 3, 2008 Author Report Share Posted July 3, 2008 (edited) Zini mūsdienās grūti saprast kam uzticēties un kam nē. Nereti nākas visu ņemt savā kontrolē, lai vēlāk pats varētu arī atbildēt par to. Cits nenesīs atbildību par tavu projektu. Jā teorētiski, bet ne praksē. Nenoliedzami ir kompānijas, kurām serviss ir augstā līmenī, bet kā jau minēju iepriekš...man jāsāk ar ierobežotiem līdzekļiem, jo finasējumu no malas negribu piesaistīt. Edited July 3, 2008 by Kress Link to comment Share on other sites More sharing options...
Kress Posted July 3, 2008 Author Report Share Posted July 3, 2008 Aleksej Paldies par info! Es aplūkoju to saitu, kuru man iedevi un izlasīšu to grāmatu ;) Link to comment Share on other sites More sharing options...
Roze Posted July 3, 2008 Report Share Posted July 3, 2008 Es iesaku nodarboties tikai ar vienu lietu. Ja izstrādā aplikāciju, tad aplikāciju un pelnīt ar to, serverus uzticēt to ziņā, kas ar to nodarbojas (nomāt). Ja darbojas ar serveriem, tad darboties ar serveriem un tos iznomāt un pelnīt savukārt ar to. Šis ieteikums ir galīgi ārpus konteksta.. runa iet par platformu - attiecīgi tu jau protams vari rakstīt zoftu kas iet visur no otras puses gala implementācija būs galīgi šķērma (lai piedod man Javas evangēlisti). Link to comment Share on other sites More sharing options...
Recommended Posts