Big data - Ratkaisut ja testaaminen

Abstract

Opinnäytetyön tehtävänä oli JYVSECTEC:in toimesta tutustua yleisellä tasolla big dataan sekä tutkia tarkemmin viiden suurimman big data -toimittajan ratkaisuja ja testata opinnäytetyön edistyessä valittuja ratkaisuja.

Big datan teoriaosassa käytiin läpi big datan käytössä olevat määritelmät, historia sekä siihen johtaneet muutokset datan määrän kasvussa ja monimuotoisuudessa. Big datan arkkitehtuurista selvitettiin siihen liittyvät rajapinnat ja datalähteet. Eri palvelutyypeissä tutustuttiin big data -palveluiden organisointiin ja työkaluihin sekä ICT-alan suuryritysten luomiin ja käyttöönottamiin ratkaisuihin.

Etukäteen valittujen viiden suuriman big data -toimittajan jakeluista käytiin läpi teoriatasolla toimittajien heikkoudet ja vahvuudet, tarjolla olevat eri vaihtoehdot sekä niiden ohjelmisto- ja laitteistovaatimukset.

Korkeiden kustannusten ja suurten laitteistovaatimusten takia testauksessa päädyttiin tutkimaan tarkemmin IBM:n Bluemix-pilvipalvelun tarjoamia mahdollisuuksia. Tätä päätöstä tuki myös se, että IBM:ltä saatiin opiskelijatunnukset, jotka mahdollistivat pidempiaikaisen testauksen. Testauksessa käytettiin Streaming Analytics, Insights for Twitter ja Insights for Weather -palveluja, joilla saatiin big dataan liittyvät testisovellukset luotua ja testattua.

The thesis was assigned by JYVSECTEC and it focused on Big Data on a general level. The study researched and tested the solutions of the five biggest big data companies.

The process started with the basic theory, common terminology, history and the changes of data occurring now in Big Data. The architecture part of Big Data reviews the interfaces and data sources, and it is followed by different kinds of Big Data management solutions, tools and the major ICT enterprises’ own Big Data solutions.

The five major Big Data solutions selected in advance were processed in theory including their weaknesses and strengths, different kind of options they offer as well as the software and hardware requirements.

Because of the high expense and the high hardware requirements the testing part ended up with a detailed research of IBM’s Bluemix cloud solution and its options. This decision was supported by the academic code which was given by the IBM. With the academic code it was possible to test Bluemix for a longer period of time. The services used in the testing part were Streaming Analytics, Insights for Twitter and Insights for Weather. With these services it was possible to create and test Big Data applications.