Innhold
er en wiki, som betyr at mange artikler er skrevet av flere forfattere. For å lage denne artikkelen deltok 18 personer, noen anonyme, i utgaven og forbedringen over tid.Trenger du en maskin som må gjøre hundrevis av milliarder beregninger med flytende punkt i sekundet? Trenger du en historie for å forklare hvordan superdatamaskinen din i kjelleren sprengte bryteren? Å bygge en klynge (eller klynge) av datamaskiner med høy ytelse er en utfordring som enhver ekspert kan overvinne i løpet av en helg med passende budsjett. Fra et teknisk synspunkt er en moderne multi-prosessor superdatamaskin et nettverk av datamaskiner som jobber parallelt for å løse et problem. Ved å følge enkle trinn for å montere utstyret og installere nødvendig programvare, kan du også ha en superdatamaskin.
stadier
-
Bestem nødvendig utstyr og ressurser. Du trenger en hovednode, minst tolv andre identiske noder, en Ethernet-bryter, en strømforsyningsenhet og en hylle. Bestem dine behov for strøm, kjøling og plass. Du må også bestemme hvilken IP-adresse du vil bruke for dine private nettverk, navnene på nodene, programvaren du vil installere, og teknologien du vil ha for datamaskiner (vi kommer tilbake til dette senere).- Selv om maskinvaren vil koste deg dyrt, er all programvaren som er presentert i denne artikkelen gratis, og de fleste er fri for rettigheter.
- Hvis du vil få et inntrykk av hvor raskt en superdatamaskin kan nå, kan du bruke dette verktøyet: http://hpl-calculator.sourceforge.net/.
-
Installer nodene. Du må sette sammen nodene eller få forhåndsmonterte servere.- Velg et serverchassis med god plass, et passende kjølesystem og energioptimalisering.
- Du kan også bruke et dusin gamle servere, summen av disse vil overstige kraften til individuelle enheter, og du vil spare mye penger. Alle prosessorer, nettverkskort og hovedkort må være identiske for at hele systemet skal fungere jevnt. Selvfølgelig bør du ikke glemme RAM og lagring for hver av nodene, i tillegg til minst en diskstasjon for hodet.
-
Installer serverne på sokkelen. Start nederst hvis toppen av sokkelen ikke er vektet. Du vil også trenge en venn som hjelper deg, serverne kan være tunge og det vil være vanskelig å guide dem på skinnene på hyllen. -
Installer Ethernet-bryteren på toppen av chassiset. Ta deg tid til å konfigurere den. Tillat en jumbo-rammestørrelse på 9000 byte, sett IP-adressene til de statiske adressene du valgte i første trinn, og deaktiver unødvendige protokoller som SMTP-snooping. -
Installer gjeldende enhet. Avhengig av hvor mye strøm nodene trenger, vil du sannsynligvis trenge en 220-volt enhet. -
Konfigurer maskinvaren. Når du har installert alt, kan du begynne å konfigurere maskinvaren. Linux er standard operativsystem for HPC-klynger, ikke bare fordi det er det beste miljøet for vitenskapelige beregninger, men også fordi det er helt gratis å installere på hundrevis eller tusenvis av noder. Se for deg prisen du vil betale hvis du måtte installere Windows på hver av disse nodene.- Start med å installere den nyeste BIOS og hovedkort firmware som skal være den samme for alle hovedkort.
- Installer din foretrukne Linux-distribusjon på hver av nodene og en distribusjon med et grafisk grensesnitt på hovednoden. CentOS, OpenSuse, Scientific Linux, RedHat eller SLES brukes ofte.
- For denne artikkelen anbefaler vi sterkt Rocks Cluster. I tillegg til å installere alle verktøyene som trengs for at klynger skal fungere ordentlig, bruker Rocks en utmerket metode for raskt å "distribuere" mange forekomster av seg selv til noder ved hjelp av PXE-bagasjerommet og Red Tea Tree Oil Quick Launch-prosedyren.
-
Installer programvaren. Installer et grensesnitt for overføring, ressursstyring og andre nødvendige biblioteker. Hvis du ikke installerte Rocks i forrige trinn, må du manuelt konfigurere all nødvendig programvare for å aktivere parallelle beregningsmekanismer.- Først trenger du et bash-styringssystem, for eksempel Torque Resource Manager, som lar deg dele og distribuere forskjellige oppgaver på flere maskiner.
- Momentmoment med Maui Cluster Scheduler for å fullføre konfigurasjonen.
- Deretter må du installere avsendergrensesnittet som er nødvendig for at prosessene på forskjellige maskiner skal dele de samme dataene. Installer OpenMP, det er veldig enkelt å bruke.
- Ikke glem multithreading-biblioteker og kompilatorer for å lage parallelle beregningsprogrammer. Nok en gang er Rocks den beste løsningen.
-
Koble nodene i et nettverk. Hovednoden sender oppgavene som skal utføres til de andre beregne noder som vil returnere resultatene mens du sender meldinger til hverandre. Jo raskere det går, jo bedre.- Bruk et privat Ethernet-nettverk for å koble alle disse nodene til en klynge.
- Hovednoden kan også fungere som en NFS-, PXE-, DHCP-, TFTP- og NTP-server i nettverket du oppretter.
- Du må skille dette nettverket fra offentlige nettverk for å sikre at pakkene som serverne utveksler ikke forstyrrer pakker som utveksles over resten av nettverket.
-
Test klyngen. Det siste du trenger å gjøre før du slipper all kraften til superdatamaskinen din er å teste ytelsen. High Performance Lynpack (HPL) ytelsestest er et populært valg for å måle datahastigheten til en dataklynge. Du må kompilere den fra kilden med alle optimaliseringene som kompilatoren tilbyr i henhold til arkitekturen du har valgt.- Det er klart at du må sammenstille den fra kilden som gir deg flest muligheter for å optimalisere plattformen din. Hvis du for eksempel bruker AMD-prosessorer, kan du kompilere den med Open64 ved å velge -0 hurtigoptimaliseringsnivå.
- Sammenlign resultatene på TOP500.org for å se om superdatamaskinen din kan konkurrere med de 500 kraftigste superdatamaskinene i verden!
- For å oppnå veldig raske hastigheter på nettverket, finn ut om InfiniBand-grensesnitt. Gjør deg imidlertid klar til å bryte sparegrisen.
- IPMI kan gjøre administrasjonen i stor skala enklere ved å gi deg KVM-over-IP, en egen kraftsyklus og mer.
- Bruk Ganglia til å spore databehandling på nodene.
- Forsikre deg om at infrastrukturen din kan støtte belastningen.