Massadatan käsittely ja mallinnus kahdella eri tavalla

Abstract

Tämän opinnäytetyön tavoitteena oli vertailla kahta eri tietoputkiprototyyppiä ja niiden mahdollisuuksia käsitellä ja mallintaa massadataa. Prototyypit rakennettiin yhdistelemällä erilaisia työkaluja, ja testattiin kumpikin erilaisen synteettisen datasetin avulla käytännössä. Prototyyppien rakentamisessa otettiin huomioon kunkin datasetin luonne ja se, millaista analyysiä niiden perusteella voitaisiin teoriassa tehdä.

Teoriapohjana käytettiin massadatan määritelmiä, DIKW-pyramidia ja tietokantajärjestelmien ominaisuuksia. Tutkimusmenetelmänä oli empiirinen tutkimus, jonka tuloksia peilattiin lopuksi teoriapohjaan. Opinnäytetyön tuloksena oli, että tietoputken ja sen sisältämien työkalujen valinta riippuu käsillä olevasta ongelmasta ja että tietokantajärjestelmien ominaisuuksien toteutuminen vaatii myös tarkkaa suunnittelua.

Opinnäytetyöllä halutaan korostaa sitä, miten datan käsittelyyn ei ole olemassa yhtä tiettyä vaihtoehtoa. Dataan on suhtauduttava joustavasti ja sen luonteen huomioon ottaen niin, että keskitytään saavutettavaan tavoitteeseen tai ratkaistavaan ongelmaan.