Big Data määritelmä ja alustat

Abstract

Tässä opinnäytetyön päämääränä oli tutkia Big Dataa ja määritellä mitä se on, miksi sitä tarvitaan, sekä esitellä yleisimpiä Big Data alustoja. Lisäksi työn teknisessä osuudessa toteutettiin ratkaisu sensori datan keräämisestä Wago logiikka moduulista ja kyseisen sensori datan varastoimisesta Big Data alustalle. Raportti käsittelee lyhyesti toteutuk-sessa käytettyjä tekniikoita ja syitä miksi kyseiset tekniikat on valittu käytettäväksi opin-näytetyön osana toteutetussa ratkaisussa.

Tutkimalla Big Datan määritelmiä ja sitä miten Big Dataa hyödynnetään havaittiin että Big Datan määritelmä vaihtelee hyvin vahvasti lähteestä riippuen. Lisäksi määritelmää sille mitkä alustat luokitellaan Big Data-alustoiksi, oli hankala löytää. Lopulta kuitenkin löydettiin Big Data termille kuitenkin selkeä määritelmä, sekä kaksi erillistä määritelmää Big Data alustalle.

Big Datalla on merkittävä taloudellinen potentiaali ja sen merkitys tulee kasvamaan enti-sestän tulevaisuudessa. Big Data -alustat eivät kuitenkaan tule korvaamaan tietovaras-toja ja muita relationaalisia järjestelmiä kokonaan.

The goals of this thesis were defining what is Big Data, describing why Big Data is used and describing the main aspects of the most popular Big Data platforms. In addition to the theoretical aspect of this thesis, one of the goals is building a solution to collect sen-sor data from Wago logic module and store the data on a Big Data platform. This report describes techniques used in the solution and reasons why those particular techniques were chosen for the solution.

It was discovered that definition of Big Data varies greatly and finding out which plat-forms were considered to be Big Data platforms was challenging. Eventually a proper definition for Big Data was found, and two competing definitions for Big Data platform were discovered.

Big Data has a great economical potential and its role will grow even further in the fu-ture. However Big Data platforms will not replace data warehouses or other relational systems completely.