Hiding Adversarial Activity from Behaviour-Based Detection

Abstract

Kyberturvallisuuden jatkuvasti kehittyvässä kentässä turvallisuusasiantuntijat ja pahantahtoiset toimijat käyvät jatkuvaa kissa ja hiiri -leikkiä. Uusia haavoittuvuuksia ilmenee, korjauspäivityksiä julkaistaan, ja osa ongelmista vaatii jatkuvia kiertoratkaisuja. Ilman turvallisuusasiantuntijoita kybermaailma olisi kuin villi länsi. Molemmat osapuolet käyttävät työkaluja helpottaakseen toimintaansa. Yksi tällainen työkalu on tunkeutumisen havaitsemisjärjestelmä (IDS), jota käytetään tunnistamaan käynnissä olevia hyökkäyksiä niiden käyttäytymismallien ja tunnisteiden perusteella. Erityisesti koneoppimiseen perustuvat verkkopohjaiset IDS-järjestelmät ovat olleet pinnalla.

Tämä tutkimus tarkastelee, kuinka väistötekniikat voivat heikentää käyttäytymiseen perustuvien tekoälypohjaisten IDS-järjestelmien tarkkuutta. Tutkimus toteutettiin Bittiumille, ja sen tarkoituksena oli tarjota koneoppimisen ja kyberturvallisuuden asiantuntijoille ohjeistusta mallien turvallisuustestaukseen kehitysvaiheessa, jotta he voivat rakentaa kestävämpiä järjestelmiä.

Eri väistötekniikoiden arvioimiseksi rakennettiin testausympäristö, jossa oli hyökkääjä- ja uhrikoneet sekä IDS-järjestelmä. Testit suoritettiin joko suoralla tai epäsuoralla lähestymistavalla, jossa suorassa lähestymistavassa testaajalla oli pääsy itse malliin ja epäsuorassa lähestymistavassa mallin arvioihin (estimate) vaikutettiin muilla keinoilla.

Arvioinnit osoittivat, että valitut väistötekniikat eivät ole suoraan vertailukelpoisia. Niitä tulisi käyttää yhdessä, jotta mallin heikkouksista saataisiin kattavampi kuva. Lopputuloksena syntyi hyvin dokumentoitu, avoimesti saatavilla oleva avoimen lähdekoodin varastokirjasto (repository), joka sisältää käytännön esimerkkejä käyttäytymispohjaisen IDS-mallin testauksesta ja arvioinneista. Tätä varastokirjastoa voi käyttää sellaisenaan tai laajentaa muihin koneoppimisen ongelmiin sopivaksi.

Tavoitteena oli löytää erilaisia väistömenetelmiä, joilla voidaan tutkia koneoppimismallin toimivuutta ja vertailla niiden tehokkuutta. Erityisesti pyrittiin selvittämään keinoja, joilla poikkeavaa toimintaa voidaan naamioida normaaliksi. Sivutuotteena kertyi myös osaamista poikkeavuuksien korjauksesta (anomaly repair). Nämä tavoitteet saavutettiin osittain, sillä käytettyjä väistötekniikoita ei voitu vertailla reilusti keskenään.

In a constantly evolving area of cybersecurity, security professionals and malicious actors are constantly playing a cat and-mouse game. New vulnerabilities emerge; security patches are released; and some issues require ongoing workarounds. Without security professionals the cyber world would be a wild west. Both sides use tools to aid their efforts. One such tool is the intrusion detection system, used by security professionals to recognize on-going attacks by their patterns and signatures. Specifically, machine learning based network intrusion detection systems have been on the surface.

This study investigates how evasion techniques can compromise the accuracy of behaviour-based ML network intrusion detection systems. Conducted for Bittium to provide machine learning and security professionals with guidance on security testing during model development, helping them build more resilient models.

To evaluate different techniques a testing environment was built with an attacker and victim machines and an intrusion detection system. The tests were conducted using either direct or indirect approach where in the direct approach the tester had to have access to the model and in the indirect methods the tester had to affect the model’s estimates by other means.

The evaluations revealed that the evasion techniques that were chosen are not comparable. The techniques evaluated should be used in unison to get an elaborate picture of the model's weaknesses. The finished product was a well-documented publicly available open-source repository containing practical examples of tests and evaluations done against behaviour-based network intrusion detection model. This repository can be used as is or extended to fit the needs of another machine learning problem.

The goal was to find different evasion methods that can be used to study a machine learning model and compare the effectiveness of them. Specifically, the goal was to determine ways to incorporate anomalous activity as normal activity. As a by-product also know-how on how to do anomaly repair was also gathered. These objectives can be considered partially achieved, as the evasion techniques used, could not be fairly compared against each other.