Avoin Data

Abstract

Opinnäytetyön toimeksiantajana toimi Jyväskylä Security Technology (JYVSECTEC)-hanke, joka toimii Jyväskylän ammattikorkeakoulun (JAMK) tiloissa Jyväskylässä. JYVSECTEC ke-hittää ja ylläpitää kyberturvallisuuden kehitysympäristöä, jota käytetään kehitys, tutki-mus ja koulutuskäyttöön.

Työn teema oli tutustua big dataan, syventyen sen jälkeen avoimeen dataan ja eri tapoi-hin millä sitä voidaan hyödyntää. Työ koostui big data -ilmiön ja avoimen datan tutkimi-sesta, avoimien tietovarantojen kartoittamisesta ja datan analysoinnista käyttäen siihen suunniteltua analytiikkatyökalua.

Työssä käydään läpi avoimen datan tietovarantoja ja rajapintoja, kuten Digitraffic ja avoindata.fi -portaali. Tutkitaan, missä eri formaateissa käytettävä data on, sekä millaisia tekijänoikeuksia creative commons –lisenssi tarjoaa avoimeen dataan. Lisäksi perehdy-tään eri tekniikkoihin, joilla suuria datamääriä pystytään tehokkaasti hallitsemaan ja ana-lysoimaan.

Opinnäytetyössä keskitytiin Hadoop -pohjaisiin ohjelmistoihin kuten MapR ja Apache Drill ja näiden osiin ja siihen miten toimivat, kuten HDFS, MapReduce. Ensimmäisenä toteu-tuksena oli MapR Sandbox For Hadoop -järjestelmän asennus ja sen käyttäminen Jyväs-kylän keskilämpötilan analysointiin. Toisena toteutuksena käytettiin Apache Drill -ohjelmistoa, jolla muunneettiin CSV-tiedosto Apache Parquet -muotoon.

This Bachelor’s thesis was assigned by Jyväskylä Security Technology (JYVSECTEC) project which operates in the JAMK University of Applied Sciences (JAMK) environment. JYVSECTEC develops and maintains closed cyber identity-based infrastructure for research, development and training-services. In this thesis the goal was to explore big data, then take a deeper look at open data and how it could be utilized. The thesis contains investigation about the big data phenomenon, different web resources for open data and an analysis of that data using analytic tools. The thesis covers different data resources and interfaces like Digitraffic and avoindata.fi portal. The research discusses the different formats that open data uses, and what kind of copyrights creative commons license offers for open data. Various technologies that can be used for efficient data management and analysis were also examined. This thesis focuses on Hadoop based systems, such as MapR, Apache Drill, and different parts of these systems like HDFS and MapReduce. In the first implementation, MapR Sand-box For Hadoop was installed and used to analyze average temperature in Jyväskylä. In the second implementation, Apache Drill was installed and used to convert CSV file to Apache Parquet format.