RAG-pohjainen järjestelmä kyberturvallisuusuutis- ja haavoittuvuusilmoitusten tuottamiseksi

Abstract

Opinnäytetyössä kehitettiin RAG-pohjainen järjestelmä kyberturvallisuusuutisten ja ohjelmistohaavoittuvuuksien käsittelyyn. Järjestelmä hakee tietoa eri lähteistä ja tuottaa niistä lyhyitä tiivistelmiä. Lisäksi se voi lähettää ilmoituksia, kun haavoittuvuuksia löytyy käytetyistä ohjelmista. Tavoitteena on helpottaa asiantuntijoiden työtä ja nopeuttaa reagointia uusiin uhkiin.

Järjestelmä hyödyntää Retrieval-Augmented Generation (RAG) -menetelmää, jossa yhdistetään suurten kielimallien (LLM) tuottokyky ulkoisiin tietolähteisiin, kuten uutissivustoihin ja haavoittuvuustietokantoihin. Toteutuksessa käytettiin Python ohjelmointikieltä ja sen kirjastoja, kuten FastAPI, PyTorch ja BeautifulSoup, sekä PostgreSQL-tietokantaa pgvector-laajennuksella upotettujen tekstiesitysten tallennukseen. Järjestelmä koostuu useista moduuleista, jotka vastaavat uutisten keruusta, tiedon poiminnasta, tiivistämisestä ja automaattisten hälytysten muodostamisesta. Lisäksi mukana on RAG-chat-ominaisuus, jonka avulla käyttäjä voi kysyä ajankohtaisia kysymyksiä kyberturvallisuuteen liittyen ja saada vastauksia järjestelmän tietokannasta.

Prototyyppiä testattiin arvioiden sen tiivistysten laatua, hälytysten tarkkuutta ja suorituskykyä verrattuna manuaalisiin prosesseihin. Tulokset osoittivat, että RAG-pohjainen lähestymistapa paransi tiedon ajantasaisuutta ja vähensi asiantuntijoiden työkuormaa. Järjestelmä osoittautui tehokkaaksi työkaluksi erityisesti silloin, kun tarvitaan nopeaa ja luotettavaa tietoa uusista uhkista. Testausvaiheen perusteella järjestelmä saavutti hyvän tarkkuuden haavoittuvuuksien tunnistamisessa ja tarjosi selkeitä etuja perinteisiin menetelmiin verrattuna.

This thesis presents the development of a RAG-based system for processing cybersecurity news and software vulnerabilities. The system collects information from different sources and generates short summaries. In addition, it can send alerts when vulnerabilities are found in the software in use. The goal is to support experts in their work and speed up the response to new threats.

The system utilizes the Retrieval-Augmented Generation (RAG) method, which combines the generative capabilities of large language models (LLMs) with external knowledge sources such as news sites and vulnerability databases. The implementation was carried out in Python using libraries such as FastAPI, PyTorch, and BeautifulSoup, with PostgreSQL and the pgvector extension for storing embedded text representations. The system consists of several modules responsible for collecting news, extracting key information, summarizing content, and generating automatic alerts. In addition, a RAG-based chat feature allows users to ask questions in natural language and retrieve relevant cybersecurity information from the database.

The prototype was tested with data to evaluate the quality of summaries, accuracy of alerts, and overall system performance compared to manual monitoring methods. The results demonstrated that the RAG-based approach improved the timeliness of information and reduced the workload of cybersecurity analysts. The system proved to be an efficient tool for providing quick and reliable insights into emerging threats, achieving strong accuracy in identifying software vulnerabilities and offering clear advantages over traditional approaches.