Heatmap Reporting tool: System Testing

Abstract

Mobiiliverkot ovat kehittyneet, joka vuosikymmen uuden sukupolven mobiiliteknologian myötä tuoden uusia ominaisuuksia ja verkkoelementtejä. Verkonhallintajärjestelmä on avainsana näiden jatkuvasti kasvavien mobiiliverkkojen ja niiden vaatimusten hallintaan. Vaatimukset määritellään standardien avulla, joissa keskeistä roolia pitää 3GPP ja ITU standardoinnit. Verkonhallinta työkalut suunnitellaan ja kehitetään. Varmistaakseen niiden toimivuuden tulee ne myös testata ennen julkaisua. Työ ja toteutus tehtiin Nokia Oy:lle. Toteutus oli kehittää ratkaisu, joka tuottaa lämpökarttoja testituloksista. Lämpökarttaraportoinnin tavoitteena oli, ettei se vaatisi yleisöltä aikaisempaa tuntemusta käytettyjen työkalujen raporteista. Lisäksi se tarjoaa jokaiselle katsojalle mahdollisuuden ymmärtää testitulosten kokonaiskuvan nopeasti. Opinnäytetyö toteutettiin soveltavana tutkimuksena. Tieto-osiossa tarkasteltiin korkeatasoista tietoa mobiiliverkkoteknologioista ja mobiiliverkon standardeista, verkonhallinnasta, tietoturva näkökohdista. Lisäksi tutkimuskohteina oli ohjelmistokehityksen testauksesta, testiraportoinnista ja sovellusohjelmointi-raportoinnista. Kohdeympäristön ja testaustyökalujen yleistiedon, sekä käytön oppimisen jälkeen luotiin lämpökarttaraportin suunnitelman määritelmä, joka oli vakuuttava toteutettavaksi. Lämpökartan suunnittelun ensisijainen vaatimusmääritelmä oli, että sen on toimittava yleisellä tasolla, sekä toimii monien testaustyökaluraporttien kanssa. Tuloksena oli uusi yleisestikäytettävä työkalu, joka mahdollisti lämpökarttaraporttien luomisen useista raporttitiedostoista ja -tyypeistä, sekä mahdollisuuden yhdistää raportit yhdeksi lämpökarttaraportiksi. Mahdollisuus tarkistaa vaaditun testialueen tai tapauksen testikattavuus visualisoidulla näkymällä. Lämpökarttaraportti tarjosi visualisoidun testikattavuuden, josta voidaan nähdä, onko testejä ajettu tai onko testausvaiheessa tapahtunut virheitä. Lisäksi se määriteltiin tuottavaksi työkaluksi ja integroitavaksi operatiivisiin testausympäristöihin nopeamman testiraportoinnin tarjoamiseksi visualisoidulla näkymällä

Mobile Networks have been evolving with every decade with a new generation of mobile technology, bringing forth new features and networking elements. Network Management System is the answer to managing these ever-growing mobile networks and requirements. Requirements are defined with standards where the key standardisations are 3GPP and ITU standardisations. Network management tools are designed and developed. To ensure their functionalities these management tools are tested before re-lease. Work and implementation were done for Nokia Oy, and the task in the thesis was to develop a solution that generates heatmap reports out of test results. The target with heatmap reporting was that the audience would not require any knowledge of testing tool reports. Furthermore, providing any viewer with the ability to grasp the big picture of test results quickly. The thesis was executed as applied research. The informational section inspected high-level information about mobile network technologies and the mobile network’s standardisations, management, and security aspects. Additionally, study targets were testing in software development, test reporting, and application programming interfaces. After getting a general knowledge of the targeted environment and using testing tools was, the definition of the heatmap reporting design plausible. The primary definition of the heatmap design was that it needs to be generic and usable with many testing tool reports. The result was a new generic tool that enabled the generation of heatmap reports from multiple report files and types, the ability to combine reports into one heatmap report. Possibility to check test coverage of the required test area or cases with a visualised view. The heatmap report provided visualised test coverage to see if any tests had not been tested or errors had occurred in the testing phase. Additionally, it was defined to be a valuable tool and to be integrated into operative testing environments to provide faster test reporting provided with a visualised view.