Automated Testing Performed by Developers

Abstract

The commissioner of the thesis was Digia Plc and the target of the thesis was to research and improve automated testing performed by the software developers. The main topics of the thesis were research, development and training. Various technologies were evaluated in order to find good set of tools to support the teams. Trainings were arranged related to these technologies and tools for the teams. In addition to that, there were two surveys that were used to evaluate how the software developers felt about automated testing.

A great deal of attention was given to various problems and challenges that could hinder testing. Some of the teams were more active in using automated testing; however, in general the developers felt that the automated testing makes sense and helps them in their daily work. Different teams had slightly different focus on their testing effort, depending on the needs of the team. It was observed that introducing automated testing into a legacy application is not an easy task and it might require some unconventional design choices. The tests also require attention and maintenance as the system evolves and changes.

During the research an improvement in perceived quality of the software was observed. The developers gained a better understanding how the components of the system work together and had less defects in their code. The difference of regression rate between the developers also decreased.

Opinnäytetyö tehtiin Digia Oyj:lle ja sen tarkoituksena oli kehittää ohjelmistokehittäjien suorittamaa automaattitestausta. Erilaisiin tekniikoihin ja teknologioihin paneuduttiin kattavasti ja niitä vertailtiin. Vertailun perusteella valittiin yhteisesti käytössä olevat työkalut. Testauksen eri painopistealueisiin valikoitui joukko tekniikoita, joiden käyttöönottoon järjestettiin koulutusta. Lisäksi toteutettiin kaksi kyselyä, joilla kartoitettiin ohjelmistokehittäjien mielipiteitä liittyen automaattiseen testaukseen ja sen hyödyllisyyteen.

Työssä paneuduttiin erityisesti ratkaisemaan testausta estäviä ongelmia ja esitettiin erilaisia ratkaisumalleja niihin. Osa kehitykseen osallistuneista tiimeistä otti automaattisen testauksen aktiiviseen käyttöön. Yleisesti ottaen, kehittäjät kokivat automaattisen testauksen mielekkääksi ja työtä helpottavaksi. Eri tiimeissä testauksen painopiste muotoutui omanlaisekseen tiimin sen hetkisten tarpeiden mukaan.

Samalla huomattiin, ettei automaattisten testien tuominen vanhaan järjestelmään ole helppo toimenpide ja se saattaa vaatia totutusta poikkeavia suunnitteluratkaisuja. Testit myös vaativat jatkuvaa ylläpitoa järjestelmän muuttuessa.

Tutkimuksen aikana havaittiin järjestelmän subjektiivisesti havannoidun laadun parantuneen. Kehittäjät saivat paremman kokonaiskuvan järjestelmän komponenttien toiminnasta ja heidän koodissaan oli vähemmän virheitä.