Lokitiedon visualisointi

Abstract

Tässä opinnäytetyössä toteutetaan lokitiedon visualisointijärjestelmä, joka piirtää ennalta määrätyt kuvaajat reaaliaikaisesti, kun lokitietoa syntyy. Visualisoinnin tehtävänä on nopeuttaa lokien tulkintaa ja parantaa lokitiedon ymmärtämistä.

Työssä valituksi tulivat Elasticin tarjoamat neljä sovellusta: Filebeat, Logstash, Elasticsearch ja Kibana. Filebeat lähettää lokitiedon Logstashille käsiteltäväksi. Logstash suodattaa ylimääräisen datan pois ja muokkaa jäljelle jäävän lokitiedon visualisoinnin vaatimaan muotoon. Logstash tallentaa muokatun lokitiedon Elasticsearchiin, josta Kibana lukee lokitiedon Web-käyttöliittymään. Kibanassa on useita kuvaajia ja useita raportointinäkymiä halutun tiedon esittämiseen.

Opinnäytetyö jakautuu alun teoriaosuuteen ja lopun käytännön toteutuksen kuvaukseen. Teoriaosuudessa käsitellään työn toteutuksen kannalta tärkeimmät teoriat: Big datan, visualisoinnin, lokitiedon ja radiotekniikan osalta. Lisäksi teoriaosuudessa esitellään valitut sovellukset ja niiden toiminta.

Tämän opinnäytetyön tuloksena toteutettiin työkalu langattoman viestijärjestelmän kehitysvaiheeseen radioarvojen vertailun helpottamiseksi. Työkalu mahdollistaa myös muidenkin lokitiedoissa olevien numeeristen tietojen visualisoinnin.

The objective of this thesis was to implement a system for visualizing log data in real time. The system draws predetermined graphs from collected log data. The purpose of visualization is to make it faster to interpret and understand log data.

Four applications by Elastic were chosen for the implementation: Filebeat, Logstash, Elasticsearch and Kibana. Filebeat sends log data to Logstash for processing. Logstash filters out extra information and modifies log data into a form that visualization requires. Logstash saves log data in Elasticsearch. Kibana reads log data from Elasticsearch to the web pages. There are many charts and dashboards in Kibana to present the desired log data.

The thesis is divided into the theoretical part and the description of the practical implementation. The theoretical part deals with the most important theories regarding the implementation of the work: big data, visualization, logging and radio technology. In addition, the theory section presents the selected applications and their function.

As a result of the thesis, a tool was created for the development stage of a wireless messaging system to facilitate comparison of radio values. The tool also allows other visualization of numerical data.