Hadoopin toteutus virtuaaliympäristössä

Abstract

Tämän opinnäytetyön aiheena oli tutkia sekä toteuttaa Hadoop-klusteri Savonia-ammattikorkeakoulun virtuaaliym-päristössä. Opinnäytetyön aihetta oli tärkeä tutkia, koska Savonialla investoitiin kahteen Big Data -palvelimeen, joita on tarkoitus hyödyntää sekä koulutus- että hankekäytössä.

Opinnäytetyön teko aloitettiin tutustumalla Big Datan sekä Hadoopin teoriaan sekä Hadoopin vaatimiin komponent-teihin. Näitä ovat esimerkiksi HDFS, SSH ja MapReduce. Hadoopin yhteydessä keskeinen käsite on myös virtuali-sointi, joka mahdollistaa suurien Hadoop-klusterien teon virtuaalikoneiden avulla. Tässä opinnäytetyössä virtuaali-koneiden alustana toimi Big Data -palvelimille asennettu Microsoft Hyper-V.

Opinnäytetyön käytännön osuudessa luotiin tarkat Hadoopin asennusohjeet sekä tulevaa käyttöä varten valmiit yhden sekä monen solmun klusteri-templeitit. Ohjeet sekä valmiit templeitit luotiin Ubuntun käyttöjärjestelmälle. Hadoop-ympäristön luonnin jälkeen tutkittiin Big Data -palvelimien yhteyksiä. Big Data -palvelimien lisäksi käytössä oli varapalvelin. Varapalvelimelle luotiin suunnitelma niin, että saataisiin vähennettyä turhaa kuormaa Big Data -palvelimilta.

Työn lopputulos oli erittäin onnistunut. Asennusohjeet testattiin ja todettiin, että niiden avulla asennus on mahdollista toteuttaa onnistuneesti. Klusterin IP-osoite -testit osoittivat sen, että virtuaalikoneet saavat IP-osoitteet Savonian laboratorioverkon kautta. Tästä syystä klusterin solmut voivat olla eri palvelimilla. Opinnäytetyön alkupalaverissa asetettuihin tavoitteisiin päästiin.

The subject of this thesis was to study and implement Hadoop in a virtual environment. The thesis was done for Savonia University of Applied Sciences. It was important to study this subject, because Savonia has invested in two Big Data servers, which are ment to be used for both educational and project purposes.

This thesis was started by studying the theory of Big Data and Hadoop. It was also important to study different components used by Hadoop, for example HDFS, SSH and MapReduce. An important concept when talking about Hadoop is virtualization. Virtualization allows easy creation for large Hadoop clusters. In this thesis the virtual machines were created in Microsoft Hyper-V.

Detailed instructions on how to install Hadoop and templates of the already installed Hadoop clusters were created in the practical part of this thesis. Instructions and templates were created using the Ubuntu operation system. After this the connection between two servers was tested. Alongside two Big Data servers a back up-server was installed. A plan was created to this back up-server on how to reduce the load from the Big Data servers.

As a result of this thesis, a detailed instraction of how to install Hadoop was successfully created. Tested showed that Hadoop could be installed using the instructions. Server tests proved that because the virtual machines got their IP addresses from Savonia’s laboratory network, cluster nodes could be created in both servers and they would still work together.