Avoimen lähdekoodin testiautomaatiojärjestelmän valinta

Abstract

Tämän opinnäytetyön tavoitteena oli vertailla avoimen lähdekoodin testiautomaatiojärjestelmiä työn tilanneelle Elektrobitille. Vertailusta saatujen tulosten ja johtopäätösten perusteella Elektrobit voi arvioida tule-vaisuudessa sopivan testiautomaatiojärjestelmän tilannekohtaisesti.

Vertailussa pyrittiin löytämään vastaukset seuraaviin testiautomaatiojärjestelmiin liittyviin asioihin: tekniset ominaisuudet, käytettävyys, ylläpidettävyys, taloudellisuus ja käyttöönotto. Tutkimukseen kuului haastatteluosuus, jossa haastateltiin testiautomaatiokokemusta omaavia Elektrobitin työntekijöitä. Haastatteluiden tuloksia käytettiin opinnäytetyön johtopäätöksien muodostamiseen.

Testiautomaatio on ohjelmistotestauksen osa. Siinä erityisohjelmisto hallinnoi testien suorittamista ja vertai-lee testeistä saatuja tuloksia odotettuihin tuloksiin. Testiautomaation päätarkoituksena on varmistaa jo testattujen osien toimivuus. Tämä on osa tuotteen laadunvalvontaprosessia.

Vertailtavat testiautomaatiojärjestelmät olivat geneerinen ymmärrettävien testitapausten luonnin mahdollistava Robot Framework, verkkoliikenneyrityksille suunniteltu Twister Framework ja vertaisympäristöä hyödyn-tävä Software Testing Automation Framework (STAF).

Vertailun mukaan Twister Framework oli testatuista järjestelmistä kypsin. Se oli lähes jokaisella tutkitulla osa-alueella verrokkeja pitemmälle viety. Robot Framework oli sitä parempi testitapausten luomiseen. STAF ei sisältänyt samassa mittakaavassa valmiita ominaisuuksia kuin Twister Framework, vaan ne oli jätetty käyttäjän tehtä-väksi ja muokattavaksi.

The purpose of this Bachelor's thesis was to make a comparison on available Open Source Test Automation Frameworks for Elektrobit. Based on the results and conclusions of this thesis Elektrobit will have the possibility of choosing the most appropriate Test Automation Framework depending on their needs.

The comparison was done in order to find answers to technical features, the usability, maintainability, economic efficiency and installation process of Test Automation Frameworks. One part of this thesis was to interview Elektrobit employees who have experience in Test Automation and use their opinion to form the results and conclusions of the comparison.

Test Automation is part of Software Testing. It is specialized software that runs tests on target software automatically with predefined test cases and expected outcomes. The objective of test automation is to ensure that already tested software components will not break. Test Automation is part of the quality assurance of the product.

Test Automation Frameworks included in this research were Robot Framework, Twister Framework and Software Testing Automation Framework (STAF). Robot Framework is a generic test automation framework that aims at easy test case creation. Twister Framework is designed to be used with multiple communications-specific test devices. STAF is a highly extensible framework used in peer environment.

The comparison revealed that Twister Framework is more mature than the other tested frameworks and beats them in almost every category. For test case creation Robot Framework is best of the three. STAF does not include as much predefined parts as Twister Framework, as it is supposed to be used as an expendable platform.