Automated Acceptance Testing : Why and How to Implement?

Abstract

The goal of this thesis was to investigate why manual acceptance tests should be automated in a software project and how the automation should be carried out. The topic is of relevance because automated testing is one way to improve the quality of software.

Different methods, procedures, types and tools can be used to create automated testing. The challenges of automated testing are implementation, setting the right objectives and choosing the right tool. The benefits of automated testing are test execution speed, repeatability and cost savings in the long run. Also calculating the right return on investment is unique for every project and it should be bound to objectives.

Almost anyone can create automated tests, but creating them with minimal maintenance costs is a hard thing to master. The skills needed for manual testing are not the same as the skills needed for automated testing.

A health care device manufacturer has started to implement automated testing. Challenges are lack of experience in automated testing, too wide objectives and planning has been too optimistic. Creating automated test cases for the client has been costly. However, improvements in automation have been made.

Based on the results, the creation of automated testing has been burdensome, but the inefficient manual regression testing is brought forth. The purpose of automated testing is not to test the software only once, but multiple times. Implementing automated regression testing is deemed efficient, but for more specific results more extensive studying is needed.

Insinöörityössä tutkittiin, miksi manuaalinen hyväksymistestaus tulisi automatisoida ja kuinka automatisointi tulisi toteuttaa. Testiautomaatio on yksi tapa parantaa ohjelmiston laatua.

Testiautomaation luomiseksi voidaan käyttää erilaisia testausmenetelmiä, -menettelytapoja, -tyyppejä ja -työkaluja. Testiautomaation haasteita ovat toteutus, oikeiden tavoitteiden laatiminen ja toimivan työkalun valinta. Testiautomaation hyötyjä taas ovat testiajojen suoritusnopeus, toistettavuus ja pitkällä aikavälillä kustannussäästöt. Sijoitetun pääomatuoton laskeminen on jokaiselle testiautomaatioprojektille ainutlaatuinen, ja laskelmien tulisi pohjautua tavoitteisiin.

Vaikka melkein kuka tahansa voi toteuttaa testien automatisoinnin, mahdollisimman vähän ylläpitoa tarvitsevien testien automatisointi on kuitenkin vaikeata. Kustannustehokkaan testiautomaation hallitseminen on haastavaa. Testiautomaation toteuttamiseen vaaditaan erilaisia taitoja kuin manuaalitestauksen tekemiseen.

Insinöörityössä perehdyttiin tapaustutkimuksena terveydenhuollon laitevalmistajan testiautomaatioprojektiin. Haasteita projektissa olivat aikaisemman testiautomaatiokokemuksen puute, liian suuret tavoitteet ja se, että suunnittelu oli ollut liian optimistinen. Testiautomaation luominen oli ollut kallista, mutta automatisoinnissa tapahtui kehitystä.

Insinöörityön tulokset osoittivat, että testiautomaation toteuttaminen on ollut kyseisessä projektissa työlästä, mutta toisaalta esille nousi myös manuaalisen regressiotestauksen selvä tehottomuus. Testiautomaatiolla ei ole tarkoitus testata sovellusta kerran vaan useita kertoja. Tulosten perusteella regressiotestauksen automatisointi todettiin kannattavaksi, mutta jotta saataisiin tarkemmat tulokset, tarvitaan vielä tarkempaa tutkimusta asiasta.