Automaatio kontekstilähtöisessä ohjelmistotestauksessa

Abstract

Insinöörityössä oli tavoitteena tutkia ja hyödyntää automaatiota Intermarketing Oy:n ohjelmisto- ja laiteratkaisujen testauksessa. Erityisesti tavoitteena oli tehostaa testausta järjestelmissä, joihin kuuluu lähes aina manuaalisesti käsiteltäviä käteistä rahaa käsitteleviä fyysisiä laitteita.

Ensin tutkittiin erilaisia näkökantoja ja lähestymistapoja ohjelmistotestaukseen. Tutkituista ajatusmalleista kontekstiohjautunut testaus osoittautui työn kannalta hyväksi näkökulmaksi ohjelmistotestaukseen ja koko työhön. Tämän jälkeen tutkittiin testauksen automatisoinnin yleisiä ongelmia ja mahdollisuuksia. Tutkimuksen perusteella päätettiin, että testauksen täydelliseen automaatioon ei kannata pyrkiä, ja työn kannalta automaattisten testien hyödyllisin käyttötarkoitus on olla tukena manuaaliselle tutkivalle testaukselle.

Seuraavaksi tutustuttiin automatisoinnissa käytettäviin skriptaustekniikoihin, joista valittiin lopulta hyvinkin laajamittaisen ja ylläpidettävän testiautomaatioratkaisun mahdollistava avainsanaohjattu testaus. Tämän jälkeen esiteltiin automatisoinnissa käytettävä työkalu, Robot Framework -testiautomaatiokehys, joka soveltuu erinomaisesti avainsanaohjatun testauksen toteuttamiseen. Seuraavaksi toteutettiin konseptin todennus ohjelmisto- ja laiteratkaisuun, joka koostuu setelinlaskimesta/lajittelijasta ja Swing-käyttöliittymällisestä Java-sovelluksesta. Järjestelmällä suoritetaan laskentaeriä, joiden tulokset tallennetaan XML-muodossa. Lopputuloksena oli yksi onnistuneen laskentaerän suorittava avainsanaohjattu testi, joka voidaan suorittaa puoliautomaattisesti tai täysin automaattisesti. Automaattinen testiajo suoritetaan simulaattoria vasten ja puoliautomaattinen fyysisen laitteen kanssa. Avainsanaohjattu testi on molemmissa sama, mutta puoliautomaattisessa suorituksessa lisätään aikaviivettä pakollisen manuaalisen toiminnon suorituksen kohdalle. Aikaviiveen käyttö oli yksinkertainen ja tehokas ratkaisu manuaalisen osuuden hoitamiseksi.

Insinöörityön tutkimuksen ja konseptin todennuksen pohjalta työn toimeksiantaja sai paljon tärkeää tietoa testauksesta sekä testiautomaation haasteista ja mahdollisuuksista. Intermarketing Oy:n ohjelmistokehityksessä tullaan jatkossa ottamaan testiautomaatiota käyttöön työn pohjalta. Työn tutkimusosuudessa mainittuja automaatiomenetelmiä, konseptin todennusta, ja jatkokehitysideoita tullaan tutkimaan ja hyödyntämään yrityksen ohjelmistokehityksessä.

The aim of this Bachelor's thesis was to examine and utilize automation in the testing of Intermarketing’s software and hardware solutions. In particular, the goal was to improve the testing of systems, which almost always include manually operated physical cash handling devices.

First, a variety of viewpoints and approaches to software testing were examined. Of the examined thought patterns, context-driven testing turned out to be a good viewpoint to software testing and to the whole study. The common problems and opportunities of test automation were examined next. Based on the study, it was decided that a complete au-tomation of testing should not be the goal. Instead, considering the goal of the thesis, the most useful use of test automation was to be a support for manual explatory testing.

The different scripting techniques used in automation were examined next. Finally, keyword-driven testing was chosen, because it enables test automation solutions that can be very large-scale and maintainable. Next, the test automation tool to be used, Robot Framework, was introduced. Robot Framework is a test automation framework that is ideally suited for keyword-driven testing. The next phase was the design and implementation of a POC (Proof Of Concept). The POC was done for a software and hardware solution, which consists of a currency sorter/counter and a Java Swing application. The system is used to perform batch transactions and the transaction results are saved in XML format. The end result of the POC was one keyword-driven test that is used to perform a successful transaction of one batch. The test can be carried out semi-automatically or fully automatically. The automatic test runs against a simulator, and the semi-automatic against the physical device. The keyword-driven test is the same in both cases, but in the semi-automatic execution, there is an additional time delay for the mandatory manual operation. The time delay was a simple and effective solution to perform the manual part of the test.

On the basis of the study and the POC realised, the subscriber of the thesis got a lot of important information on testing and test automation challenges and opportunities. On the basis of the thesis, test automation will be taken in to use in Intermarketing’s software development. Furthermore, the automation methods, POC and the ideas for further development, studied in the thesis, will be examined and utilized in Intermarketing’s software development, too.