Increasing Multi-tier Computer System Service Quality through Software Testing

Abstract

The goal of this thesis was to study one multi-tier system from the perspective of faults found in production usage. These faults were analyzed in order to find out if any particular level of testing and any particular tier of the system had any statistical connection and thus would reveal the need for an improvement on a certain test activity or level on a certain tier of the system.

The reported faults were extracted in the form of trouble reports from a tracking system. Only software fault related issues were kept for analysis, disregarding hardware, infrastructure and other miscellaneous faults. The faults were categorized based on the system tier, priority, testing level and ISO 25010 quality model. These categorizations were then mapped against each other in order to see if any logical connection could be found.

The analysis shows that there is room for improvement in several areas of testing. The study makes recommendations as to increasing the amount of manual testing and broadening the scope and variation in automated testing. While it was observed that most faults occur in the middle tier of the system, it was concluded that no significant advantage can be gained by targeting that tier in particular.

The result of this study was a useful view into the situation of one particular system and its current problems. However, the conclusions drawn from these results are only applicable to a very limited extent to other multi-tier systems, as there are too many variables in each system for such comparison. However, the methods and processes utilized in the study can be used to extract another set of comparable results from another system.

Työn tarkoituksena oli tutkia monikerroksisen Internetpalvelun tuotantokäytössä raportoituja vikoja ja luoda analyysin pohjalta kuva kuinka palvelun laatua voitaisiin kehittää testauksen keinoin.

Tieto vioista on saatu virheraporttien muodossa raportointijärjestelmästä. Virheiden joukosta on karsittu kaikki muut kuin ohjelmistovirheet pois (viat laitteistoissa, infrastuktuurissa jne.). Virheet on karsinnan jälkeen luokiteltu järjestelmän kerroksen, prioriteetin, testaustason ja ISO 25010 -laatumallin mukaan. Näitä luokitteluita on verrattu toisiinsa mahdollisen yhteyden löytämiseksi.

Saaduista tuloksista voitiin nähdä selviä parannustarpeita useissa testaukseen liittyvissä toiminnoissa. Tutkielman tuloksena annettiin suosituksia manuaalisen testauksen lisäämiseksi ja automaattisen testauksen kattavuuden ja vaihtelevuuden lisäämiseksi. Vaikka tuloksista oli nähtävissä, että valtaosa vioista sijoittui järjestelmän keskikerrokseen, ei testauksen keskittämistä tuohon kerrokseen erityisesti suositella, sillä siitä ei uskota olevan vastaavaa hyötyä.

Tulokset antavat käyttökelpoisen tilannekatsauksen kyseisen järjestelmän ongelmista ja kehitystarpeista. Tuloksia ei voida yleistää kattamaan muiden vastaavalla tavalla rakennettujen järjestelmien toimintaa, sillä jokaisessa järjestelmässä on liikaa muuttujia vertailtavuuden esteenä. Tässä työssä hyödynnettyjä metodeja ja prosesseja voi hyödyntää vastaavan tutkimuksen tekemiseen toisesta järjestelmästä.