Best Practices for Automated Regression Testing for Production Test Systems

Abstract

Opinnäytetyön tarkoituksena oli muodostaa parhaat käytännöt automatisoidun regressiotestauksen toteuttamiseen tuotannontestausjärjestelmissä. Tämä toteutettiin hyödyntäen tieteellisiä tutkimuksia, aiheeseen liittyvää teoriatietoa sekä yrityksen omaa testaukseen liittyvää tietoa. Opinnäytetyö toteutettiin käyttämällä integroivaa kirjallisuuskatsausta tutkimusmenetelmänä.

Tavoitteena oli analysoida automatisoidun regressiotestauksen käytäntöjä ja työkaluja sekä vertailla niiden yhteensopivuutta tuotannontestausjärjestelmiin. Opinnäytetyön tilaajan kannalta tavoitteena oli saada tietoa automatisoidun regressiotestauksen toteuttamisesta tuotannontestausjärjestelmissä.

Opinnäytetyössä tutkittiin erilaisia regressiotestaus- ja CI/CD-työkaluja sekä regressiotestausmenetelmiä ja arvioitiin niiden yhteensopivuutta yrityksen käytössä oleviin järjestelmiin. TestStand ja Jenkins havaittiin sopivimmiksi työkaluiksi, sekä koko ohjelmiston uudelleentestaus sopivimmaksi regressiotestaustyypiksi.

Opinnäytetyön lopputuloksena muodostettiin automatisoidun regressiotestauksen parhaat käytännöt tuotannontestausjärjestelmille, jotka kattavat testausprosessin alkusuunnittelusta loppuseurantaan asti. Tulosten perusteella yritys sai tietoa toteutukseen liittyvistä huomioon otettavista asioista ja voi tulosten perusteella kehittää automatisoidun regressiotestausprosessin tuotannontestausjärjestelmille. Opinnäytetyön tilaajana toimi KONE Oyj.

The topic of this thesis was to study automated regression testing from different perspectives to form the best practices of conducting automated regression testing for production test systems. The aim was to analyze automated regression testing methods and tools as well as to compare their compatibility to production test systems. The client’s, KONE Oyj’s, aim was to obtain information on how to perform automated regression testing in production test systems and what must be considered.

Integrative literature review was used as a research method in this thesis. Firstly, topic-related theory was reviewed, and the theoretical framework was formed. After theory, the organization’s internal data and research from various databases was analyzed and the relevant information was gathered for this thesis.

As a result of this thesis, the best practices of automated regression testing for production test systems were established, which cover the whole testing process from planning to software release. It was discovered that TestStand as regression testing tool and Jenkins as CI/CD tool would be the most suitable tools for the organization’s purposes. Retest-all was found to be most suitable for production test systems as regression testing type.

The results provide KONE Oyj comprehensive information of automated regression testing, which can be used to implement and develop an automated regression testing process for production test systems.