Lokitietojen poikkeamien tunnistus ja tulkinta tekoälyllä

Abstract

Opinnäytetyössä tarkasteltiin tekoälyn soveltamista järjestelmälokitietojen poikkeavuuksien tunnistamiseen Sandvik Mining and Construction Oy:n maanalaisten porauslaitteiden ohjausjärjestelmissä. Työn lähtökohtana oli tarve parantaa poikkeamien havaitsemista ja analysointia suurista lokitietomääristä, joiden manuaalinen käsittely on hidasta ja vaatii asiantuntijatyötä.

Tavoitteena oli kehittää toistettava menetelmä, jonka avulla voidaan tunnistaa lokitietojen poikkeamia ja tuottaa niille ymmärrettäviä tulkintoja. Menetelmä toteutettiin hyödyntämällä transformer-arkkitehtuuriin perustuvaa autoencoder-mallia ja generatiivista tekoälyä, ja sen kehityksessä käytettiin avointa ZooKeeper-lokiaineistoa Jupyter-notebook-ympäristössä. Lisäksi ratkaisu integroitiin osaksi toimeksiantajan virheenhallinta- ja CI-prosessia.

Työhön liittyy avoimesti julkaistu Jupyter-notebook, joka havainnollistaa käytettyjen algoritmien toimintaa ja tukee tutkimuksen toistettavuutta. Notebook sisältää esimerkin transformer-pohjaisesta autoencoder-mallista sekä generatiivisen tekoälyn käytöstä lokianomalioiden selittämiseen. Tutkimuksen tuloksena havaittiin, että generatiivinen tekoäly pystyy tuottamaan ymmärrettäviä ja käyttökelpoisia selityksiä lokipoikkeamille, mikä tukee tulosten hyödyntämistä ohjelmistokehityksen ja laadunvarmistuksen tueksi. Yhdistämällä poikkeamien koneoppimispohjainen tunnistus ja kielimallin tulkinta saavutettiin parempi näkyvyys järjestelmän poikkeustilanteisiin.

Tämän opinnäytetyön laatimisessa on hyödynnetty tekoälytyökaluja tiedonhaussa, tekstimuotoilussa ja kielenkäännöksissä. Nämä työkalut tukivat kirjoitusprosessia, mutta eivät vaikuttaneet itse tutkimustulosten muodostamiseen tai niiden arviointiin.

This study explored the application of artificial intelligence in detecting anomalies in system log data from the underground drilling rig control systems of Sandvik Mining and Construction Oy. The study was motivated by the need to improve the detection and analysis of anomalies in large volumes of log data, which are time-consuming to process manually and require expert effort.

The objective was to develop a repeatable method for detecting anomalies in log data and generating understandable interpretations for them. The method was implemented using a transformer-based autoencoder model and generative AI, and it was developed with an open ZooKeeper log dataset in a Jupyter notebook environment. The solution was also integrated into the error management and CI processes of the commissioning organization.

An openly available Jupyter notebook has been published separately to demonstrate the applied algorithms and support the reproducibility of the research. The notebook includes an example of a transformer-based autoencoder model and the use of generative AI for explaining log anomalies.

The findings showed that generative AI can produce understandable and useful explanations for detected anomalies, which can be used to support software development and quality assurance. By combining machine learning–based anomaly detection with language model–driven interpretation, the system achieved better visibility into exceptional situations.

AI tools were used during the preparation of this thesis for information retrieval, text formatting, and language translation. These tools supported the writing process but did not influence the formation or evaluation of the research results.