Big data ja Weka API:n käyttö Java-sovelluksessa

Abstract

Tässä insinöörityössä esitellään lukijalle big data eli massadata ja sen louhinta sekä opastetaan, kuinka avoimen lähdekoodin tiedonlouhintasovellus Wekan tarjoamaa ohjelmointirajapintaa voidaan käyttää osana omaa koodia Java-sovelluksessa.

Työssä esitellään termi big data kaikessa monipuolisuudessaan. Samalla tutkitaan kuinka laajasti sitä voidaan ja kannattaa elämän eri osa-alueilla hyödyntää, jotta saavutetaan uutta tietoa ihmisistä ja heidän toiminnastaan, laitteista ja ympäristöstä sekä yleisesti syy-seuraussuhteista. Työssä esitellään haaste, jonka big data suurilla tietomäärillään sekä niiden jatkuvalla kasvulla ja monipuolistumisella asettaa yksityisille ihmisille, yrityksille ja yhteiskunnalle, sekä ratkaisut, joilla big data-analyysit sekä tiedonlouhinta vastaavat haasteeseen ja miten tämä käytännössä tapahtuu.

Ohjelmointirajapinnan käyttöönoton esittelyä varten on luotu sovellus, jonka tarkoituksena on numeerisia ennusteita hyödyntäen ennakoida vastaajan ikä hänen vastaustensa perusteella. Lisäksi ohjelma vertailee erilaisia numeerisen ennusteen menetelmiä toisiinsa tuoden esille niiden vahvuutta tai heikkoutta ennustamisessa. Lopuksi esitellään luotu sovellus ja ohjataan lukijaa askel askeleelta, kuinka se on toteutettu sekä rakennettu ja arvioidaan ohjelman toimintaa alkuperäisiä ohjelman toiminnan tavoitteita vasten.

This thesis presents the reader big data and data mining as well as gives guidance on how to use a programming interface (API) provided by an open source data mining software Weka, on Java-software.

The study introduces the diverse term of big data and how big data could and should be beneficially used in a variety of life areas in order to achieve new knowledge about people and their activities as well as about machines, environment and cause-effect relationships. This thesis presents the challenge that big data with its large data volumes, continuous growth and diversification, sets for individuals, companies and society at large. It also pre-sents solutions for the challenges, i.e. big data analysis and data mining, and how these work in practice.

As a part of this thesis an application was created to demonstrate how to use the Weka API. The purpose of the application is to predict the age of the respondent on the basis of his/hers answers using numerical forecasts, which are a set of specific type of data mining methods, and to compare these methods with each other, bringing out their strengths and weaknesses. Finally the application itself is presented and the reader is guided step by step, how it was created and built. The functionality of the application is being evaluated and compared to the original goals of functionality.