Big data ja Apache Hadoop

Abstract

Opinnäytetyön tarkoituksena on luoda tiivistelmä big datasta, Hadoopista ja sen käytöstä. Mitä big data on, mihin sitä käytetään ja mitkä ovat sen hyödyt.

Datan kerääminen sinänsä on suhteellisen helppoa, kerätään data ja säilötään se. Tällä ei kuitenkaan vielä saavuteta minkäänlaista lisäarvoa. Kerätty data täytyy yhdistää muuhun yrityksen dataan. Laitedata (IoT) pitää yhdistää esimerkiksi tuotedataan tai yrityksen keräämä data täytyy yhdistää ulkoisesti hankittuun dataan esimerkiksi säädataan.

Tietolähteinä on käytetty aiheeseen liittyvää kirjallisuutta, lehtiartikkeleita ja videoita. Kaikki lähteet käsittelevät Big dataa.

Opinnäytetyössä käydään läpi big datan työvälineitä Apache Hadoop, MapReduce, HDFS, Pig ja Hive. Työvälineitä käsitellään näkökulmasta mihin ja millaiseen tiedon käsittelyyn kukin näistä sopii.

Internet of things (IoT) on kuvaus sille, että laitteita on kytketty verkkoon. Tämä liittyy oleellisesti big dataan. Laitteista voi verkon kautta kerätä tietoa ja niitä voi ohjata verkon kautta.

Big data ja pilviteknologia kulkevat käsikädessä. Big data tarvitsee useita palvelimia prosessiin, pilvipalvelut pystyvät tämän tarjoamaan.

The purpose of the study was to summarise the essentials of Big data, Apache hadoop, and its use. It explains what Big data is, what it is used for, and what its benefits are.

Collecting data is relatively easy; it is collected and stored. However, this alone is not enough to create any kind of added value. The collected data needs to be combined with a company's other data. The device data (IoT) must be combined with e.g. product data, or the the data collected by the company can be combined with externally acquired data, such as weather data.

The sources used in this work include literature, articles and non-print source material related to the subject. All of the sources analyze Big data.

The study examines tools used with Big data, such as Apache Hadoop, MapReduce, HDFS, Pig and Hive. The tools are analyzed with the emphasis put on what kind of data management each of these is best suited for.

The Internet of Things (IoT) is a term referring to various devices being connected by a network. This is an essential part of Big data. The devices can be used to collect data over the network, which can also be used to control them.

Big data and cloud technology are closely related subjects. Big data processes requires multiple servers, which can be provided by cloud services.