Testing an Alert Generation and Detection Framework : On Windows-based Systems and from a Threat Hunting Perspective

Abstract

Organisaatioilla on vaikeuksia suojata ympäristöjään erilaisia kyberuhkia vastaan. Haitalliset uhkatoimijat ovat hyödyntäneet keinoja, joilla he ovat pystyneet kiertämään voimassaolevia havaitsemismekanismeja organisaatioden verkoissa. Tämän kaltaiset haitalliset toimet voivat johtaa organisaation liiketoiminnan vakavaan rampauttamiseen. Mahdollisten kattavuusaukkojen tunnistaminen tietoturvaryhdin osalta saattaa olla organisaatioille erittäin hankalaa. YAMK-opinnäytetyö tutki voisiko hälytysten luomis- ja havaitsemisviitekehys olla pohjana organisaatioiden tietoturvaryhdin parantamiseen päätelaitteiden tunnistamis- ja vastausohjelmistojen avulla. Tämän viitekehyksen tehokkuuden mittaaminen on ratkaisevaa, jotta uusia mukautettuja hälytyssääntöjä taikka kyberuhkametsästystä voitaisiin ottaa onnistuneesti käyttöön tutkitun tietoturvatuotteen avulla.

Tutkittavan viitekehyksen mittaamiseen luotiin virtuaalinen laboratorioympäristö. Laboratorion testiryhmän päätelaitteita vasten ajettiin haitallisia sekä harmittomia suorituskokeita. Tutkimustyö toteutettiin hyödyntäen kvantitatiivista tutkimusmenetelmää kerätyn suoristuskoe- ja hälytysaineiston analyysiin. Materiaali kerättiin sekä testiryhmän päätelaitteilta että päätelaitteiden tunnistamis- ja vastausohjelmistonpilviportaalista. Kvantitatiivinen analyysi sisälsi mittauksia viitekehyksen luotettavuuden, oikeellisuuden, tarkkuuden ja statistisen merkittävyyden määrittämiseen. Analysoitua aineistoa käytettiin vastaamaan asetettuihin tutkimuskysymyksiin.

Analysoity laboratorioympäristön suorituskoeaineisto osoitti, että viitekehys pystyi tuottamaan luotettavia, oikeellisia, tarkkoja ja statistisesti merkittäviä tuloksia. Suorituskokeiden tulosten vahvistamiseksi suoritettiin alustavia havaitsemiskokeita. Alustavat havaitsemiskokeet paljastivat, että tutkittu tuote sisälsi kattavuusaukkoja uhkien tunnistamisessa valittujen MITRE ATT&CK taktiikoiden- ja tekniikoiden puitteissa. Tämä havainto korreloi aiemmin julkaistujen arviointien ja tutkimusten kanssa.

Organizations are facing challenges in defending their infrastructures against various cyber-attacks. The consequences of such malicious adversary activities can be severe, causing considerable business impact for affected organizations. These attacks often involve the use of defense evasion tactics that can circumvent current detection mechanisms. Identifying potential detection coverage gaps from the cyber security posture management perspective can be extremely challenging. The thesis researched if an endpoint detection and response (EDR)-based alert generation and detection framework could be used as a basis for organizational security posture improvements. Measuring the effectiveness of the framework is crucial for successfully developing further detection improvements based on the security product.

A virtual laboratory environment was built to measure the effectiveness of the researched framework. The research performed malicious and non-malicious execution trials against the laboratory sample group. Both the execution and alerting data were collected from the sample group hosts and the EDR cloud portal. The collected data was subjected to quantitative analysis to determine the reliability, validity, accuracy, and statistical significance of the framework and to answer the set research questions.

The analyzed trial execution data indicated that the framework was able to provide reliable, valid, accurate, and statistically significant results within the laboratory environment. A group of initial detection tests were performed to validate if detection gaps could be observed by using the framework. The initial detection tests correlated with the experimented execution trials. The results additionally revealed that the researched security product had detection gaps within the experimented MITRE ATT&CK tactics and techniques. These observations correlated with information published in previously conducted evaluations and studies.