Rinnakkaislaskenta MPI-ympäristössä

Abstract

Tämän Metropolia Ammattikorkeakoululle tehdyn insinöörityön tavoitteena oli tutkia rinnakkaisia arkkitehtuureja ja viestinvälitykseen perustuvaa rinnakkaisohjelmointia, rakentaa testiympäristöksi korkean suorituskyvyn klusteri ja rinnakkaistaa alun perin sarjamuotoinen algoritmi.

Työ aloitettiin perehtymällä rinnakkaisohjelmien suorituksen mahdollistaviin laitteistoarkkitehtuureihin. Seuraavaksi syvennyttiin tarkemmin yhteen käyttöjärjestelmään (Rocks Cluster) ja rakennettiin sen avulla korkean suorituskyvyn klusteri. Klusterin tarkoituksena oli toimia rinnakkaisohjelmien testiympäristönä. Klusterin avulla voidaan rinnakkaisia ohjelmia suorittaa helposti useiden tietokoneiden avulla. Seuraavaksi perehdyttiin erityisesti viestinvälitysmallin mukaiseen rinnakkaisohjelmointiin ja MPI-standardiin. MPI-kirjastosta esitellään useimmin tarvittavat operaatiot. Lopuksi suunniteltiin ja toteutettiin sarjamuotoisesta lajittelualgoritmista neljä rinnakkaista versiota. Työssä toteutettujen algoritmien suorituskykyä vertailtiin keskenään erilaisissa tilanteissa.

Työn tuloksena saatiin toimiva korkean suorituskyvyn klusteri ja neljä toimivaa rinnakkaista versiota alun perin sarjamuotoisesta algoritmista. Tehtyjen testien perusteella huomattiin, että rinnakkaisohjelmoinnin avulla voidaan saada suuria parannuksia ohjelman suorituskykyyn, kunhan ohjelmassa esiintyvät laskennalliset ongelmat ovat luonteeltaan rinnakkaistuvia. Työn aikana huomattiin suuria eroja myös rinnakkaisten algoritmien suorituskyvyssä ja havaittiin niiden suorituskykyyn oleellisesti vaikuttavia seikkoja, kuten työmäärien jakautuminen laskentatehtävien välillä. Myös datan siirtäminen laskentatehtävien välillä on hidasta, joten on sitä parempi, mitä vähemmän sitä tarvitsee tehdä. Tähän toki vaikuttaa myös klusterin solmujen välillä käytetyn tietoliikenneverkon nopeus.

The purpose of this Bachelor’s Thesis is to examine the architectures that allow parallel computing and message passing parallel programming. In the study a high performance computing cluster was built and an originally sequential sorting algorithm was implemented in parallelized programming.

Parallel hardware architectures were explored in the study. Next a high performance computing cluster was built from eight workstations, which were linked together with Gigabit Ethernet network. The Rocks Cluster Linux distribution was chosen to be used as an operating system. The Rocks Cluster is based on the CentOS-Linux and is specially designed to make building and maintaining clusters easy. The commonly applied operations of the MPI standard as well as some more advanced ones are described. Finally, four different parallel versions of the originally sequential sorting algorithm were designed and implemented. The performance of implemented algorithms was tested and compared with each other in multiple situations.

As the result of the design and the implementation a working high performance computing cluster was built and four working parallel versions of the originally sequential algorithm were implemented. Based on the conducted tests it was found that parallelization of a program can make a significant boost to software performance assuming that the computational problems in the software are parallelizable.

The study discovered differences in the performance between the parallel versions of the algorithm. These differences resulted mainly from items being distributed unevenly between processors in some parallel versions. Transferring large amounts of data between processors can also be very expensive operation, depending on speed of the network that links the processors together.