Big data arkkitehtuurit ja teknologiat

Abstract

Opinnäytetyön tavoitteena oli tutustua big datan arkkitehtuuriin ja sen taustalla toimiviin teknologioihin. Lisäksi tavoitteena oli pystyttää kolmen noden Hadoop-klusteri ja testata sen toimintaa.

Big dataa kuvaa parhaiten kolmen v-kirjaimen yhdistelmä: volyymi, vauhti ja vaihtelevuus. Ne kuvastavat hyvin miten erilaista dataa nykyään tuotetaan ja kuinka paljon sitä kertyy. Tulevaisuudessa datan määrä tulee moninkertaistumaan, joten big data alkaa ilmiönä viimeistään nyt olemaan ajankohtainen.

Big datan alueella on paljon potentiaalia, jota ei ole ymmärretty, tai haluttu vielä ottaa käyttöön yrityksissä. Teoriaosuudessa tutkittiin big datan arkkitehtuurin ja teknologioiden lisäksi myös mahdollisia hyötyjä ja haittoja yritysten kannalta, jotka big dataa aikovat hyödyntää.

Käytännön osuudessa pystytettiin IBM:n BigInsights QuickStart Edition, jossa otettiin käyttöön kolmen Hadoop-klusterin palvelinympäristö. Asennusvaiheessa tärkeänä osana oli avoimen lähdekoodin Hadoop-monitorointityökalu Ambari, jonka avulla voitiin selaimen kautta asentaa ja konfiguroida klusteria.

The purpose of this thesis was to study in detail the fundamentals of Big Data architectures and technologies that make it possible to work. Additionally, the objective was to implement and test a three-node Hadoop cluster.

The best way to describe Big Data is with three V letters: Volume, Velocity and Variety. Those Vs describe well how much different type of data is produced and how much of it will accumulate. In the future the amount of data will multiply, therefore, finally Big Data as a phenomenon will be timely.

There is plenty of potential in Big Data that has not yet been understood or implemented by corporations. In the theory part of this thesis Big Data architecture and technologies are studied in detail, however, the thesis also reflects on some of the benefits and draw-backs of implementing Big Data in corporation environment.

The practical part describes the implementation of IBM BigInsights QuickStart Edition with a three-node Hadoop cluster server environment. Open-source Hadoop monitoring tool Ambari had a key role in the installation process, which made it possible to install and con-figure the cluster via browser.