Massadatan analytiikka ja datan hyödyntäminen yrityksessä

Abstract

Insinöörityön tarkoituksena oli selvittää, mitä big data on ja mistä tässä paljon palstatilaa saaneessa ja keskustelua herättäneessä ilmiössä on kyse. Lisäksi tarkoituksena oli luoda dokumentoitu prosessi, jonka avulla suurten tietomassojen käyttö onnistuu pk-yrityksissä. Luotua prosessia ja työkaluja oli tarkoitus havainnollistaa kaupallisella datan analysointiin tarkoitetulla pilvipalvelulla. Prosessikuvauksessa pyrittiin huomioimaan kaikki oleelliset työvaiheet, joita tarvitaan datan käyttöönotossa ja toimijat, jotka ottavat osaa prosessin suoritukseen. Prosessi kuvattiin kaaviona ja sanallisena esityksenä. Big datan käyttöönottoprosessia ja tarvittavia työkaluja havainnollistettiin Hadoop-ohjelmistokehykseen pohjautuvan kaupallisen pilvipalvelun avulla. Demonstraatiossa käytettiin ohjelmankehitysympäristöä tarvittavien ohjelmien kirjoittamiseen ja kääntämiseen. Lisäksi käytettiin komentotulkkia pilvipalvelun etäkäyttämiseksi. Prosessin luonnin ja demonstraation tekemisen aikana havaittiin, että prosessin suorittamiseksi vaaditaan asiantuntija tai ryhmä, jolla on kokemusta liiketoiminta-alueelta ja laaja-alainen koulutus tietojenkäsittelyn, ohjelmoinnin, matematiikan ja tilastotieteen alueilta. Lisäksi henkilöltä tai ryhmältä vaaditaan taitoa visualisoida prosessin tulokset ja kommunikoida ne kohdeyleisölle.

The purpose of this study was to analyze the characteristics of big data and why this phenomenon has caused so much discussion. In addition, the aim was to create a documented process that allows large data masses to be used successfully in small and medium-sized firms. The created process and tools were to be demonstrated with a commercial cloud computing service. The target of the process description was to take into account all relevant events and players who take part in the execution of the process. The process was described as a diagram that is discussed in detail in the thesis. The implementation process of big data and the necessary tools were demonstrated with a commercial cloud computing service. The service is based on the Apache Hadoop framework, with which it is fully compatible. An integrated development environment was used in the demonstration to create the needed demonstration programs in the local development environment. In addition, a command line tool was used to control cloud services remotely. It was found that there is a need for an expert or a group of experts, who has experience of a related business area and education in data processing, programming, mathematics and statistics. In addition, the person or the group is required of skills to visualize the results of the process and to communicate them to the target audience.