Suosituimmat C++ yksikkötes-tauskirjastot ja niiden erot

Abstract

Opinnäytetyössä vertailtiin - kolmea C++ -kielen yksikkötestauskirjastoa ja niiden käyttöä ohjelmistokehityksessä kehittäjän näkökulmasta. Aihe syntyi kirjoittajan halusta kehittää omaa ammattitaitoaan sekä kiinnostuksesta ohjelmistotestaukseen.

Työn tärkeimmät tutkimuskysymykset olivat: Mitä on yksikkötestaus ja miten se sijoittuu ohjelmistotestauksen kontekstiin? Miten yksikkötestauskirjastoja käytetään C++ -kielen kanssa? Miten yksikkötestauskirjastot vertautuvat toisiinsa?

Opinnäytetyön teoriassa käsitellään ensin ohjelmistotestauksen teoriaa sekä perehdytään tarkemmin yksikkötestaukseen ja sen käytäntöihin. Teoria on kerätty aiheeseen liittyvästä kirjallisuudesta sekä sähköisistä lähteistä.

Vertailun käytännön osuudessa perehdytään valittujen GoogleTest-, Catch2- sekä CppuUTest-yksikkötestauskirjastojen asentamiseen ja käyttämiseen yksinkertaistetussa esimerkkitilanteessa. Tämän lisäksi vertailussa huomioitiin yksikkötestauskirjastojen tekniset ominaisuudet, dokumentaatio sekä niiden tuottama raportointi. Verrokkina käytettiin Microsoftin yksikkötestauskirjastoa C++ -kielelle.

Vertailluista yksikkötestauskirjastoista oli vaikea löytää yhtä, selkeästi muita parempaa, mutta sekä Googletest että Catch2 olivat parempia kuin CppUTest. Yllättävintä oli verrokin heikko menestys vertailun monella osa-alueella. Opin-näytetyön suurempi arvo onkin enemmän käytännönläheisessä, esimerkeillä valotetussa lähestymistavassa, joka voi auttaa muitakin yksikkötestauskirjastojen käyttöönotossa ja käytössä.

The purpose of this thesis was to compare three popular C++ unit test frameworks and their usage in software development from the viewpoint of a developer. The main driving factor was to develop the author’s professional skills and plain curiosity about software testing.

The three main questions of the thesis were: What is unit testing and how does it fit into software development? How are unit testing frameworks used with C++ language? How do the chosen unit testing frameworks compare against each other?

The thesis is divided into two parts. The first part introduces software testing, its processes and reviews in more detail unit testing and related best practices. The theory and procedures were gathered from related literature and internet.

The rest of the thesis details the actual comparison, beginning from the selection of the unit test frameworks, GoogleTest, CppUTest, and Catch2. The unit testing frameworks were installed and used to test methods of a simple, example class. In addition, technical features, documentation, and produced reporting were also taken into consideration. Microsoft’s C++ unit testing framework was used as a control in the comparison.

It was difficult to arrange the chosen unit testing frameworks in order, but both GoogleTest and Catch2 were excellent and CppUTest in any order of rank was not as good. The greatest surprise was how poorly the control performed mainly due to its inferior documentation and reporting capabilities.

Even while the actual comparison did not produce actionable results, the process yielded a pragmatic guide for anyone trying to implement and use these unit testing frameworks.