IoT-datan tiedonkulku, varastointi ja esittäminen

Abstract

Opinnäytetyössä suunniteltiin ja toteutettiin IoT-järjestelmä, joka kerää, lähettää, vastaanottaa, varastoi sekä esittää dataa. Kaikki järjestelmän osat toteutettiin erillisinä komponentteina, jotka suoritettiin omissa ympäristöissänsä Docker-konttien avulla. Työn tarkoituksena oli tuottaa Digia Oy:lle pohja mahdollisia tulevia IoT-projekteja varten. Lisäksi toimeksiantaja määritteli työssä käytettävät teknologiat, joiden toimivuus ja luotettavuus testattiin. Työssä tärkeää ei ollut se mitä dataa kerätään, vaan pikemminkin se miten sitä kerätään. Kerättävän datan lähde tulisi pystyä tarvittaessa pienellä vaivalla vaihtamaan.

Työssä kerättiin erilaisia ilmansaastetietoja ympäri maailmaa OpenAQ-palvelun avoimesta REST API -rajapinnasta. Dataa tuli kerätä suuria määriä, jotta järjestelmän kokema kuorma oli riittävän realistinen IoT-järjestelmälle. Dataa lähettävä ja vastaanottava applikaatio toteutettiin Java-ohjelmointikielellä sekä Spring Frameworkilla. Viestit lähetettiin IoT-järjestelmissä suositulla MQTT-protokollalla. Viestit kerättiin jonoihin sekä välitettiin oikeille vastaanottajille RabbitMQ-viestilähetin avulla. Data varastoitiin InfluxDB-aikasarjatietokantaan. Lopuksi data visualisoitiin loppukäyttäjälle Grafana-analytiikkatyökalulla.

Toteutettiin vaatimusten mukainen toimiva IoT-järjestelmä, jonka perusteella saatiin myös todennettua teknologioiden toimivuus. Kaikki työssä käytetyt teknologiat soveltuivat tehtäviinsä erinomaisesti. Työssä kerättiin InfluxDB-tietokantaan 1 958 641 datapistettä, jotka sisälsivät ilmansaastetietoja ympäri maailmaa. Suorituskykynsä puolesta aikasarjatietokanta oli hyvä valinta IoT-datan varastointiin. Data visualisoitiin kartalle sekä graafeihin Grafanassa. Lisäksi käyttäjä pystyi itse määrittelemään näytettävän saastetyypin, maan, sekä aikavälin. Yksittäisten kaupunkien saastetietoja pystyttiin tutkimaan omassa näkymässään tarkemmin.

The objective of this thesis was to design and implement an IoT system that collects, sends, receives, stores and presents data. All the system components were implemented as separate components. The components were restricted to their own environments using Docker containers. The purpose of the thesis was to produce a basis for possible future IoT projects carried out by Digia Oy. The client also specified the technologies used in the project. The functionality and reliability of these technologies was tested. The collected data itself was not important in the project. The project focused on how it was collected instead. The source of the collected data had to be easily replaceable with something else.

Different types of air pollution data were collected from around the world using the OpenAQ service REST API. Large amounts of data had to be collected to create a realistic stress test for the IoT system. The applications sending and receiving data were created using Java and Spring Framework. Messages were sent using the MQTT-message protocol. The messages were gathered into queues and routed to the correct recipient using the RabbitMQ message broker. The data was stored into an InfluxDB time-series database. Finally, the data was visualized with the Grafana analytics tool.

An IoT system matching the project requirements was created and the functionality of the technologies was confirmed. All the technologies worked well in an IoT system. 1 958 641 data points containing air pollution data were saved into the InfluxDB database. Performance-wise a time-series database was an excellent choice for data storage in an IoT project. The data points were visualized on maps and graphs in Grafana. The end user could choose the displayed pollution type, country and timespan. The pollution data of single cities could be examined in detail in a separate dashboard.