Sanomapohjaisen datan prosessointi big datan avulla

Abstract

Tämän opinnäytetyön tavoitteena oli suunnitella ja toteuttaa malli, jonka avulla uuden verkkoteknologian tuottamaa sanomapohjaista dataa voidaan yhdistellä avoimeen lähdekoodiin perustuvilla ratkaisuilla. Tutkimus on toteutettu hyödyntäen konstruktiivista tutkimusotetta, joka sopi hyvin tämän tyyliseen kehittämiseen, jossa halutun tuloksen osalta oli olemassa selkeä tavoite.Työssä käytetyn tutkimusotteen vahvuuksia ovat sen mahdollistama iteratiivinen kehittäminen, sekä konstruktion soveltaminen useisiin käyttötarkoituksiin. Opinnäytetyön lopputulos saavutti sille asetetut tavoitteet ja siitä saadut tulokset olivat luotettavia, vaikkakin testausta ei ollut työn loppuvaiheessa mahdollista toteuttaa halutulla tavalla. Siitä huolimatta työ voidaan todeta onnistuneeksi ja kehitetyn ratkaisun avulla on mahdollista toteuttaa datan yhdistelyä Apache Spark:iin pohjautuvissabig data -järjestelmissä.