Suitability of commercial product for Cyber Red Team operations

Abstract

The purpose of this thesis was to study, evaluate and estimate how well commercial penetration and Advanced Persistent Threat (ATP) simulation applications suit Cyber Red Team operations. The beginning of the study clarifies the needs, ways of acting and the history of Red Teaming: what it is and why and when it is needed. Later on, more focus is set on the characteristics of Cyber Red Teaming. What are the typical steps in Cyber Red Team operations and what requirements these set to the used applications. The actual evaluation started with a selection of applications to be included into the evaluation. The candidates were found by searching the Internet or availed by specialists working on The Finnish Defence Forces. The selection was done carefully, because the purpose was to keep the overall workload reasonable. The next step was to create criteria for the application evaluation. This included the functional and non-functional requirements for Cyber Red Team applications. The criteria were checked and approved by specialists taking part in the evaluation. During the evaluation, the team members used applications as individuals and also as a part of a team. Each member produced their own opinions and notes of the individual requirements on the criteria. The final results were collected and combined from these individual notes. The final result was that none of the tested applications can fulfill all the requirements of Cyber Red Teaming. However, each application can be useful in individual steps of Cyber Red Team operation. These can be, for example, exploit development or payload delivery to the target environment.

Tarkoituksena oli tutkia ja arvioida kaupallisten tunkeutumis- ja uhkasimulointiohjelmis-tojen soveltuvuutta Red Team -toimintaan kybertoimintaympäristössä. Käyttötarpeen, toimintatapojen ja myös historian selvittämiseksi työn alussa käytiin läpi Red Team -toimintaa yleisellä tasolla: mitä se on ja miksi sitä tarvitaan. Työn edetessä tarkentuivat kyberympäristöön liittyvän Red Team -toiminnan ominaispiirteet. Mitä on Red Team -toiminta kyberympäristössä, mitkä ovat kyberoperaatioiden tyypilliset vaiheet Red Team operaatioissa ja mitä vaatimuksia nämä yhdessä asettavat käytettäville ohjelmille. Varsinaisen arviointityön ensimmäisessä vaiheessa valittiin mukaan otettavat ohjelmat. Valitut ohjelmat valittiin ja rajattiin tarkasti, jotta työn kokonaistyömäärä pysyy halutuissa rajoissa. Arvioinnin seuraavassa vaiheessa luotiin kriteerit ohjelmien arviointiin. Kriteerit sisältävät halutut vaatimukset ja toiminnallisuudet testattavalle ohjelmalle. Kriteerit käytiin läpi ja hyväksyttiin testaukseen osallistuvien asiantuntijoiden kanssa. Varsinaisessa testausvaiheessa Puolustusvoimien asiantuntijat, testiryhmä, käyttivät arvioitavia ohjelmia sekä itsenäisesti että myös osana ryhmää. Kukin testaaja tuotti omat mielipiteensä kriteerien mukaisiin kohtiin. Testauksen lopuksi näiden pohjalta luotiin testauksen lopputulokset. Testauksen tuloksena havaittiin, ettei yksikään arvioiduista ohjelmista täytä kaikkia kriteerien vaatimuksia. Arvoituja ohjelmia voidaan kyllä hyödyntää tehtävien operaatioiden yksittäisissä vaiheissa, kuten hyötykuorman toimittamisessa kohdeympäristöön.