OHJELMISTOTESTAUKSEN KATTAVUUDEN ARVIOINTI

Abstract

Opinnäyte kehittää Ebsolut Oy:n käyttämää automaattista testausjärjestelmää. Yrityksen käytössä oleva ABaTSjärjestelmä (Automated Build and Test System) on tradenomi Antti Kemppaisen opinnäytetyön tuotos. ABaTS suorittaa moduulitestausta java-kielisille ohjelmille. Työn tavoitteena oli lisätä järjestelmään toiminnallisuus, joka mittaa ja raportoi testien kattavuuden. Testauksen kattavuuden arviointi toteutettiin käyttämällä Emma-kirjastoa. Emma on java-pohjainen työkalu testauksen kattavuuden mittaamiseen ja raportointiin. Emman vahvuuksia ovat helppo käyttöönotto, avoin lähdekoodi ja ilmaisuus. Kaikkia Emman toimintoja voidaan käyttää sekä komentokehotteella, että Ant-skripteillä. Emman kattavuusmittausta käytettäessä käännettävään lähdekoodiin tulee lisätä debug-tiedot. Käännetty tavukoodi instrumentoidaan, eli Emma lisää oman kerroksensa kattavuuden mittausta varten. Samalla luodaan metadata testattavista luokista. Instrumentoidut luokat ajetaan virtuaalikoneessa ja Emma kerää ajonaikaista seurantatietoa. Testiajon päätteeksi luodaan html-raportti vertaamalla metadataa ja ajonaikaisen seurannan tietoja. Käytännön toteutus alkoi Emmaan ja ABaTS-järjestelmään tutustumisella. Aluksi tarvittavat toiminnot toteutettiin komentorivityökaluilla, jonka jälkeen ne lisättiin ABaTS:in käyttämiin Ant-skripteihin. Ant-skriptien käyttö oli perusteltua, koska koko ABaTS-järjestelmä on toteutettu niillä. Jatkossa Emma-kirjasto otetaan käyttöön ABaTS-ympäristön ulkopuolella järjestelmä- ja kuormitustestaukseen. Tätä varten tulee laatia ohjeistus yrityksen työntekijöille. Testauksen kattavuuden arviointi helpottaa ja tehostaa testaajien työtä. Testien jälkeen on nähtävillä mihin osaan koodia testitapaukset vaikuttavat. Tämä auttaa uusien testitapausten suunnittelussa. Testauksen tehostaminen edistää osaltaan ohjelmiston laatua.

The goal of this project was to develop the automated software testing environment used in the Ebsolut Oy. The company uses the ABaTS (Automated Build and Test System) for module and integration testing. ABaTS is a product of a thesis project made by one of the former students. ABaTS is used for testing Java software. The code coveage functions were implemented by java based Emma library. Emma is a toolkit for measuring and reporting code coverage. Emma was chosen because it is free, easy to use and it has open source code. All of the Emma’s functions can be used both with the command prompt and the Ant scripts. To use the Emma library for code coverage, the source code must be compiled with the debug information on. The byte code is instrumented. In this stage, Emma adds a new layer into the byte code for the coverage measurement and metadata is created based on the instrumented classes. The instrumented byte code is executed in the Java virtual machine and Emma gathers runtime data on coverage. Finally, the test report is generated by comparing the instrumentation metadata and runtime data. The project started by gathering information on Emma and ABaTS. First, all the necessary functions were implemented and tested with the command line tools. Afterwards they were replaced with Ant-commands, because the whole ABaTS is based on the Ant. In the future, Emma will also be used outside the ABaTS for system and stress testing. Therefore, an instruction manual is required for the employees. The code coverage will make the testers’ work easier and more efficient. The testers need to actually see what part of the code the test cases affect. This new information will help them in developing new test cases. By making the testing process more efficient, the quality of the whole software will be better.