Keskitetty lokien hallintajärjestelmä Elastic Stackillä

Abstract

Opinnäytetyön tavoite oli toteuttaa Elastic Stack -pohjainen lokien tallennus- ja analysointiratkaisu Oy Capnova Ltd:lle. Työn tarkoituksena oli tehostaa lokien prosessointia, madaltaa lokien analysoimisen kynnystä sekä mahdollistaa lokidatan visualisoiminen.

Työn tuloksena kehitettiin suunnitelma, jonka pohjalta lokien tallennus- ja analysointiratkaisu toteutettiin käyttäen Elasticin kehittämää ilmaista Elastic Stack -lokien hallintajärjestelmää. Elastic Stack koostuu neljästä avoimen lähdekoodin sovelluksesta: Elasticsearch, Logstash, Kibana ja Beats sekä Elasticin tarjoamasta X-Pack-lisäominaisuuspaketista. Järjestelmän toteuttamisen lisäksi tuotettiin jatkokehityssuunnitelma, jota käytetään järjestelmän kehittämiseen työn jälkeen.

Työn lopputuloksena Elastic Stackillä toteutetun järjestelmän avulla saadaan kerättyä halutut lokitiedot keskitettyyn tallennuskohteeseen analysoitavaksi. Toteutettua järjestelmää voidaan kuitenkin kehittää useilla tavoilla muun muassa lisäämällä järjestelmään lokien pitkäaikainen säilytyskohde, määrittämällä lokien keräys- ja käsittelykäytännöt sekä määrittämällä lokien automaattisen elinkaaren käytännöt.

The objective of this thesis was to create a centralized log storage and analysis platform based on Elastic Stack for Oy Capnova Ltd. The purpose of this work was to ease log processing and analysing and to enable log data visualizations.

As the result, a log management platform plan was created and implemented using the free Elastic Stack software by Elastic. Elastic Stack consists of four open source applications, Elasticsearch, Logstash, Kibana and Beats, and additionally X-Pack which adds additional functionality to Elastic Stack. In addition to implementing the platform, a plan to develop the platform further was also created.

As a conclusion, the implemented platform can collect the desired log data to a centralized location for analysis. However, the implemented platform can be further developed in several ways, for example by adding a long-term log storage destination, defining log collection and processing policies, and defining log lifecycle policies.