Data-analytiikka Apache Sparkilla

Abstract

Opinnäytetyö toteutettiin osana IoT:sta liiketoimintaan -projektia. Sen tavoitteena oli tutkia Apache Sparkin arkkitehtuuria ja toimintaa levossa olevan datan sekä reaaliaikaisen datavirran analysoinnissa. Opinnäytetyön teoreettinen osuus koostuu Apache Sparkin arkkitehtuurin kuvaamisesta, sen käyttämästä Resilient Distributed Datasets (RDD)-toiminnasta ja Pythonin valmiiden data-analytiikkakirjastojen käyttämisestä Apache Sparkissa. Työn käytännön osuudessa Apache Sparkiin kytkettiin useita ulkoisia datalähteitä, jotka yhdistettiin ja data-analytiikan avulla analysoidaan käyttäen Python-ohjelmointikieltä. Työn tarkoituksena oli luoda ympäristö, jolla pystyttiin kokonaisuudessaan suorittamaan kaikki data-analytiikan toimenpiteet. Data haettiin kahdesta eri lähteestä: Jyväskylän ammattikorkeakoulun Mango-palvelusta ja Ilmatieteenlaitoksen avoimesta datasta. Datavirrat luotiin Apache Kafkalla, johon tieto haettiin käyttämällä Pythonilla luotuja skriptejä. Datavirrat syötettiin Apache Sparkille, jossa tieto lähes reaaliajassa poimittiin ja tallennettiin sisäiseen tietokantaan. Tämän li-säksi haetusta datasta laskettiin korrelaatiota veden sameuden ja sademäärien välillä ja pyrittiin ennustamaan sateen muutoksia käyttäen apuna sääennustedataa. Opinnäytetyössä päästiin lähes haluttuihin tavoitteisiin, jokseenkin tiettyjen osioiden jääden hieman vajaiksi. Tästä esimerkkinä Pythonin valmiiden data-analytiikkakirjastojen käyttö. Ympäristöstä saatiin toimiva ja tavoitteita vastaava. Itse data-analytiikan osuudes-ta saatiin halutut tulokset mitattua, mutta ne eivät datan puolesta ole täysin tarkkoja vaan enemmänkin suuntaa-antavia.

The bachelor’s thesis was assigned by IoT to Business project. The goal was to study Apache Spark’s architecture and activity as a data analysis tool on stored data and real-time data streams. The theory part consists of a description of Apache Spark’s architecture and its use of Resilient Distributed Datasets (RDD). In addition, the theoretical part contains usage of Python’s data analyst libraries as part of the Apache Spark applications. In the practical part, multiple external data sources are connected to Apache Spark, and data will be ana-lysed using Python programming language. One goal is also to create a working environ-ment that can fully complete all data analytical measurements. Data is retrieved from two different sources. One is a Mango service owned by JAMK University of Applied Sciences and the other is the open data of Finnish Meteorological Institute. Data streams are created by using Apache Kafka, where data is retrieved using Python scripts. Data streams are sent to Apache Spark, where data will be extracted and stored in almost real-time. In addition, Apache Spark calculates the correlation between water turbidity and rainfall from the retrieved data. Apache spark will also be predicting changes of water’s turbidity by using a weather forecast. All desired goals were nearly achieved, however, certain sections were not covered as well as the others. For example, the usage of Python’s data analysis is not that well cov-ered. Environment is functional and contains everything that was desired. The results of correlation and predictions are not exact, however, they are very close even though the retrieved data contained some errors.