Automaatiotestaus: case ServiceNow Automated Test Framework (ATF)

Abstract

Tämän opinnäytetyön tarkoituksena oli selvittää millaisia testejä kannattaa automatisoida, miten testituloksia voidaan hyödyntää jatkuvassa kehittämisessä, sekä mitkä ovat ServiceNow’n Automated Test Framework -sovelluksen hyödyt ja haitat. Opinnäytetyö käsittelee laajasti ohjelmistotestausta, sekä automaatiotestausta ServiceNow’n automaatiotestaustyökalulla. Opinnäytetyö on tehty toimeksiantona julkishallinnon organisaatiolle.

Opinnäytetyön teoriaosuudessa käydään läpi ohjelmistotestauksen eri osa-alueita automaation näkökulmasta, sekä esitellään ServiceNow ja ATF-sovelluksen perusteet. Tietopohjana työssä käytetään lisäksi toimeksiantajan kehitystiimille järjestetyn tutkimuskyselyn tuloksia, sekä puolistrukturoidun haastattelun vastauksia. Opinnäytetyö on tyypiltään toiminnallinen. Toiminnallisen osuuden myötä lukija pystyy itsenäisesti ottamaan ATF-sovelluksen käyttöön ja luomaan omia automatisoituja testejä.

Selvityksen perusteella ei pysty aukottomasti sanomaan, voiko ympäristöjen toimivuuden varmistaa ATF-sovelluksella ja vähemmällä manuaalisella työllä, sillä sovelluksen käyttö itsessään vaatii manuaalista työtä. Testien luontiin käytetty aika korreloi suoritusaikaan ja siitä saatuun ajalliseen hyötyyn. Sovelluksen avulla voidaan todistetusti vähentää manuaaliseen testaukseen kuluvaa aikaa. Opinnäytetyön tuloksina työssä valmistui toimeksiantajalle ATF-sovelluksella luotuja automatisoituja testejä, priorisointimatriisi, vinkkejä parhaisiin käytäntöihin sekä käyttöönottosuunnitelma.

The purpose of this thesis was to find out what kind of tests should be automated, how the test results can be used in continuous development, and what the benefits and drawbacks of ServiceNow’s Automated Test Framework application are. The thesis deals extensively with software testing, as well as test automation with ServiceNow's automation testing tool. The thesis was done as an assignment for a public administration organization.

The theoretical background deals with different aspects of software testing and is reviewed namely from an automation point of view. ServiceNow and the basics of the ATF application are introduced as well. Research data obtained through a survey organized for the client's development team, as well as answers from a semi-structured interview were used to benefit the thesis. The thesis is functional in type and meant as a guide for creating one's own automated tests independently with the ATF application.

Based on the results obtained in the thesis, it is not possible to definitively say whether the functionalities of the environments can be ensured with the ATF application and less manual work because the application itself requires some manual work. The time spent on creating the tests correlates with the execution time and the time benefit obtained from it. Usage of the application proved to reduce the time spent on manual testing. The thesis work resulted in automated tests created with the ATF application, a prioritization matrix, tips for best practices, and an implementation plan.