Testauksen laadunvarmistaminen : case testauksen mittarit

Abstract

Tämä opinnäytetyö tehtiin suomalaisessa pankki- ja rahoitusalan yrityksen ICT-palveluyksikössä, joka kehittää itse tai jolle ulkopuolinen toimittaja tuottaa muutoksia ja uusia ominaisuuksia käytössä oleviin järjestelmiin.

Tapaustutkimuksessa tutkittiin erisuuruisten kehitysprojektien testauksen seurannalle määriteltyjä mittaristoja ja niiden antamien tulosten merkitystä testattavan järjestelmän laadulle. Ennen tutkimuksen alkua määriteltiin käytettävät mittarit ja testauksen läpiviennin aikana analysoitiin mittareiden tuloksia. Tulosten perusteella pyrittiin määrittelemään käytettävien mittareiden luotettavuutta määriteltäessä testauksen laatua ja testauksen aikaisen prosessin tehokkuutta.

Testausprosesseina tutkittiin sekä perinteisellä vesiputousmallilla, että ketterällä mallilla tehtävää tuotekehitystä. Kummallakin mallilla toteutettujen testattavien projektien testauksen seuranta tehtiin samalla työvälineellä Quality Centerillä.

Tutkimuksen tavoitteena oli selvittää, mitkä määritellyistä mittareista antavat luotettavinta tietoa testauksen aikana, jotta testattavan järjestelmän tuotantoon viemisen kypsyys saadaan mahdollisimman luotettavasti todennettua. Analyysi perustuu tutkimuksen tekijän omakohtaisiin analyyseihin saaduista tuloksista.

Parhaiksi mittareiksi organisaation testausyksikön laadun varmistukseen valittiin kolme mittaria,jotka todentavat järjestelmätestauksen kattavuuden, seuraavat testauksen etenemistä ja keräävät tietoa testauksen suorittamisen aikana havaituista virhekirjauksista. Valitut mittarit on tarkoitus edelleen esittää testausyksikön yhteisesti noudatettaviksi mittareiksi. Niiden käyttöönotosta yksikön mittaristoissa päätetään erikseen riippumatta tämän tutkimuksen antamista analyyseistä yksikön johdon toimesta.

Quality assurance in testing: a case study of metrics in testing

This research was carried out in a Finnish banking and financial company which maintains and develops new features to systems itself or by using an outside contractor. This case study describes metrics defined for monitoring of testing and the implications metrics can give to the quality of testing. Prior to starting the study, the metrics used were defined and during the testing process the results given by the metrics were analysed. Based on the measurement results the purpose was to evaluate the reliability of the metrics used in defining the quality and effectiveness of the testing process.

Both agility and traditional waterfall models of testing were studied. The testing process carried out with either of the models was executed using the same tool: Quality Center.

The main objective of the study was to figure out, which of the defined metric s will give the most reliable information during the testing process in order to verify the maturity of the system tested. The analysis is based on the writer’s own results.

As the best metrics for quality in testing process were chosen metrics measuring requirements coverage, progression of test execution and the number of defects detected. The three best metrics are supposed to be recommended for common use in the testing organization. Introduction of the presented metrics will be determined separately despite of this research by the management of the testing organization, regardless of this research.