Big data -ilmiö, suuret datamassat

Abstract

Tämän opinnäytetyön tarkoituksena oli tehdä lyhyt yleisesitys niin sanotusta big datasta. Työssä tarkasteltiin big datan määritelmää sekä 3V-mallia. Big datan louhinnassa kerrottiin, mitä louhimisella tarkoitetaan ja miten koneoppimisen metodeja ja algoritmejä hyödynnetään tiedon saamiseksi. Datatyypeistä selvitettiin rakenteettoman, rakenteellisen ja puolirakenteellisen datan ominaisuuksia ja suhteita toisiinsa sekä datan analysointimalleja. Opinnäytetyössä käsiteltiin lisäksi, miten datamassoista saadusta informaatiosta tulee tietämystä.

Big dataa hyödyntävistä alueista julkishallintoa, liike-elämää ja terveydenhuoltoa käsiteltiin lisäksi esimerkein. IoT-laitteista ja roboteista esiteltiin valikoituja käyttökohteita.

Opinnäytetyössä käsiteltiin luonnollisesti myös pilvipalveluiden määritelmää, joitakin pilvipalveluntarjoajien ratkaisuja big datan käsittelyyn ja lyhyesti pilvipalveluiden tietoturvaa sekä sitä, miten EU:n yleinen tietosuoja-asetus vaikuttaa kuluttajiin ja organisaatioihin.

Opinnäytetyön tuloksena saatiin yleiskuva big datasta, miten dataa syntyy, big datan määritelmästä, louhinnasta, datatyypeistä, miten datasta tulee tietämystä sekä joistakin käyttökohteista ja pilvipalveluista.

The purpose of this thesis was to give its readers a brief review of so-called Big Data. The thesis covered, inter alia, the definition of Big Data and the important Three V Model. When discussing data-mining, this term was first defined, and thereafter the readers were told how the methods and algorithms of machine learning can be used to obtain useful information. Moreover, core properties of the three data categories of unstructured, structured and semi-structured data as well as their internal relationships were discussed. The thesis also dealt with the issues of deriving knowledge out of the information obtained from the mining processes.

The thesis presented public services, business enterprises and healthcare systems as examples of practical areas that have already shown to profit highly in various ways from the use of Big Data. Moreover, select areas of use of IoT appliances and robots were briefly ventilated in the thesis.

As a natural necessity the thesis also dealt with the definition of cloud services as well as various solutions given by a number of cloud service providers to handle Big Data, and – not unexpectedly – security issues inherent to cloud services, where the thesis also took up the role of the European Union data protection regulation (General Data Protection Regulation) and its effects on citizens and organizations.

The thesis produced as its major outcome an overall view of Big Data as well as a view on the uprising of data, the definition of Big Data, its mining and its data types, and how data can be developed into knowledge. Finally some areas of use of Big Data as well as cloud services were ventilated.