Reaaliaikainen lokijärjestelmä
Uotila, Lauri (2022)
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi:amk-2022100320770
https://urn.fi/URN:NBN:fi:amk-2022100320770
Tiivistelmä
Insinöörityön aiheena oli suunnitella ja toteuttaa lokijärjestelmä, joka reaaliajassa kerää tietoa ja tilastoja eri palvelimilla ja ympäristöissä ajettavista ohjelmakoodeista. Järjestelmän toteutuksen dokumennoinnin ohella oli tarkoitus vertailla projektin eri toteutustapoja sekä punnita vaihtoehtoisten teknologioiden hyötyjä ja haittoja.
Tehtävän suunnittelun tuloksena toteutuksessa päädyttiin käyttämään Googlen pilvipalveluja sekä data-analytiikka maailman uutta ja lupaavaa tiedon prosessoinnin työkalua, Apache Beam-ohjelmointimallia ja sen ohjelmakirjastoa. Työn tuloksena saatiin järjestelmä, joka toimii reaaliaikaisesti toimivana dataputkena, joka kerää ja eristää hyödyllistä tietoa lähtöympäristöjen ohjelmakoodien lokeista ja tallentaa ne lopuksi tietovarastoon tulkittavaksi. Järjestelmän kyky käsitellä lokeja lähellä niiden luontihetkeä teki ohjelmakoodien ajojen tarkasta monitoroinnista mahdollista. Monitoroinnin lisäksi järjestelmälle kehitettiin toiminnallisuus luoda koosteita yksittäisistä lokeista, joka tuli avuksi lokeista kerätyn tiedon tulkintaan.
Tehtävän suunnittelun tuloksena toteutuksessa päädyttiin käyttämään Googlen pilvipalveluja sekä data-analytiikka maailman uutta ja lupaavaa tiedon prosessoinnin työkalua, Apache Beam-ohjelmointimallia ja sen ohjelmakirjastoa. Työn tuloksena saatiin järjestelmä, joka toimii reaaliaikaisesti toimivana dataputkena, joka kerää ja eristää hyödyllistä tietoa lähtöympäristöjen ohjelmakoodien lokeista ja tallentaa ne lopuksi tietovarastoon tulkittavaksi. Järjestelmän kyky käsitellä lokeja lähellä niiden luontihetkeä teki ohjelmakoodien ajojen tarkasta monitoroinnista mahdollista. Monitoroinnin lisäksi järjestelmälle kehitettiin toiminnallisuus luoda koosteita yksittäisistä lokeista, joka tuli avuksi lokeista kerätyn tiedon tulkintaan.