Measuring outsourced Cyber Security Operations Center

Abstract

Viime vuosina yritykset ovat heränneet tarpeeseen suojata heidän tietoverkkonsa ja päätelaitteet rikollisten verkkohyökkäyksiltä. Samalla yritykset ovat havainneet, että heidän omat taitonsa ja aika ei välttämättä riitä kaiken epäilyttävän tietoverkko- ja päätelaitetoiminnan seuraamiseen. Näin ollen yritykset ovat alkaneet kartoittaa Cyber Security Operations Center-palvelun (CSOC) hankkimista ulkoistettuna palveluna. Koska CSOC ulkoistettuna palveluna on vielä uutta, niin yrityksillä on vaikeuksia hahmottaa palvelun toimivuutta. Tätä ongelmaa ratkoo CSOC-palvelua tarjoavan yrityksen tuottamat mittarit. Tämän työn tavoitteena oli selvittää millä tavalla CSOC-palvelua voi mitata. Tavoitteena oli yhdistää laadullinen ja määrällinen mittaaminen.

Tässä tutkimuksessa selvitettiin miten asiakaskyselyä pystyisi käyttämään CSOC-palvelun yhtenä mittarina. Samalla mietittiin myös keinoja yhdistää eri mittareita yhdeksi mitattavaksi asiaksi. Tutkimuksessa myös tutkittiin, millä keinoilla voisi erilaisia mitattavia asioita laittaa tärkeysjärjestykseen. Ikävä kyllä työstä jäi puuttumaan käytännön toteutus, joten sen puutetta paikattiin vertaisarvioinnilla. Tutkimuksessa on myös selvitetty parasta käytäntöä toteuttaa projekti, jossa suunnitellaan yrityksen mittaristo.

Koska tutkimus ei edennyt käytännön osuuteen mittariston luomisesta, tehtiin korvaavana tutkimuksena vertaisarviointi, jossa kyberturvallisuuden parissa työskennelleet esihenkilötason johtajat kertoivat näkemyksensä esitetystä tavasta mitata CSOC-palveluita. Vertaisarvioinnin tulos oli positiivinen, vaikka haastatellut henkilöt esittivät myös kritiikkiä. Organisaatiomuutosten takia työn hyöty työnantajalle on selvittämättä.

Organisations have noticed the importance of cyber security in today’s threat landscape. There can be situation where organisations realise that their knowledge about cyber security is not enough, so they bought outsourced Cyber Security Operations Center, CSOC. Organisations usually want to know how their outsourced Cyber Security Operations Center is operating. That is the reason why metrics are needed. The main object of this study is research how outsourced CSOC can be measured. Objective was combining the qualitative and quantitative methods of the measure.

The purpose of this research was to study how can outsourced Cyber Security Operations Center use customer survey as one metric and how customer survey can be created. There were also research how different metrics can be combined. There were also research how choose right metrics. Unfortunately, field study is missing from this study. This research has also best practice to implement a project to create metrics.

Because shortcoming of the field study, in this research peer review was made. Responders were professional team leaders and they had experience about cyber security. Feedback from peer review was positive, but there was also some criticism.