The performance and optimization of HPC clusters
Vaihela, Emil (2022)
Vaihela, Emil
2022
All rights reserved. This publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited.
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi:amk-2022061017370
https://urn.fi/URN:NBN:fi:amk-2022061017370
Tiivistelmä
Tämän opinnäytetyön tarkoitus oli tutkia tietotekniikan klustereita, klusterointimalleja ja korkean suorituskyvyn järjestelmiä. Eri aloilla on viimeisien vuosien aikana huomattavasti lisääntynyt laskennallisen tehon tarve. Esimerkiksi lääkealalla simuloidaan molekyylien kehitystä eri sairauksissa ja kehitetään vasta-aineita. Tämä vaatii järeitä tietokoneklustereita, jotka ovat skaalattavissa miljardeja maksaviin tutkimuslaitoksiin.
Skaalattavuus on tärkeä ominaisuus klustereissa ja alkuun pääsee jo kahdella tietokoneella. Tässä opinnäytetyössä tarkastellaan klustereitten rajapintoja ja toimintamalleja lopuksi vertaillaan kuluttajatietokoneilla rakennetun klusterin ja NVIDIA DGX-1 ammattilaispalvelimen suorituskykyjä.
Kuluttajatietokoneilla rakennetun klusterin rakentaminen vaatii lukuisia IT-alan taitoja ja ymmärrystä. Suorituskyvyn optimoinnissa on haasteita kuluttajakomponenteilla mutta on hyviä tuloksia on mahdollista saavuttaa.
This thesis aimed to investigate the contents of computer clustering and more specifically high-performance clustering. The need for computational power in various fields is developing rapidly. Simulations can be run in the field of medicine, used for molecular modelling finding cures for various diseases or simulating weather. Today’s supercomputers are incredibly expensive, huge facilities but the scalability of high-performance clusters allows smaller systems to be built.
The thesis will investigate what clusters are and how they work, introducing a few commonly used applications and software interfaces. An HPC cluster with consumer computers was built and optimized for benchmarking as well as using an NVIDIA DGX-1 workstation for reference. The clusters were benchmarked using the LINPACK benchmark.
The results showed that a cluster can be built by having basic skills in various IT fields but the cluster can be hard to optimize and reach good performance with consumer components. Further steps could be taken to improve the performance.
Skaalattavuus on tärkeä ominaisuus klustereissa ja alkuun pääsee jo kahdella tietokoneella. Tässä opinnäytetyössä tarkastellaan klustereitten rajapintoja ja toimintamalleja lopuksi vertaillaan kuluttajatietokoneilla rakennetun klusterin ja NVIDIA DGX-1 ammattilaispalvelimen suorituskykyjä.
Kuluttajatietokoneilla rakennetun klusterin rakentaminen vaatii lukuisia IT-alan taitoja ja ymmärrystä. Suorituskyvyn optimoinnissa on haasteita kuluttajakomponenteilla mutta on hyviä tuloksia on mahdollista saavuttaa.
This thesis aimed to investigate the contents of computer clustering and more specifically high-performance clustering. The need for computational power in various fields is developing rapidly. Simulations can be run in the field of medicine, used for molecular modelling finding cures for various diseases or simulating weather. Today’s supercomputers are incredibly expensive, huge facilities but the scalability of high-performance clusters allows smaller systems to be built.
The thesis will investigate what clusters are and how they work, introducing a few commonly used applications and software interfaces. An HPC cluster with consumer computers was built and optimized for benchmarking as well as using an NVIDIA DGX-1 workstation for reference. The clusters were benchmarked using the LINPACK benchmark.
The results showed that a cluster can be built by having basic skills in various IT fields but the cluster can be hard to optimize and reach good performance with consumer components. Further steps could be taken to improve the performance.