Automated GUI testing of game development tools

Abstract

The goal of this thesis was to automate testing of the graphical user interfaces of tools used in game development at Remedy Entertainment Ltd. The technologies and methods were chosen in advance, and the choices were made with maintainability, ease of use and meaningful result reporting in mind. A continuous integration system which supported running automated tests already existed, but no actual tests existed yet.

As a result of this thesis, a system, that automatically runs graphical user interface tests whenever code is submitted to the version control system, was built. The tests covered the basic user interface functionality of the game development tools, such as asset manipulation and file input and output. The major part of this thesis was a test application, which was added as a part of the continuous integration system. Adding test application as part of the continuous integration system required additional steps such as resetting up the test environment file structure.

As a conclusion it can be noted that both manual and automated testing have their place within the software development environment and successful teams utilize a combination of both methods. In most cases automating testing is worthwhile when planned carefully. Automated testing should be focused on verifying that already established functionality remains unchanged, and manual testing should focus on finding new defects through exploratory testing.

Tämän opinnäytetyön tavoitteena oli automatisoida pelien kehityksessä käytettävien työkalujen graafisten käyttöliittymien testausta Remedyllä. Teknologiat ja metodit oli valittu ennen työn aloitusta. Valintoihin vaikutti eritoten ylläpidettävyys, käytettävyys ja tulosten raportointi. Jatkuvan integraation järjestelmä oli jo valmiiksi pystyssä, mutta sen testausominaisuuksia ei ollut vielä otettu käyttöön.

Opinnäytetyön tuloksena oli järjestelmä, joka pystyy automaattisesti suorittamaan pelien kehityksessä käytettävien työkalujen graafisten käyttöliittymien testejä aina koodimuutosten tullessa jatkuvan integraation järjestelmään. Testit käsittivät pelien kehitystyökalujen käyttöliittymien peruskäytön, kuten resurssien editointi ja tiedostojen tallennus sekä luku. Työn keskipisteenä oli testisovellus, joka lisättiin osaksi jatkuvan integraation järjestelmää. Testisovelluksenn käyttäminen vaati ylimääräisiä toimenpiteitä, kuten esimerkiksi testausympäristön tiedostorakenteen automaattinen alustus.

Johtopäätöksenä voidaan todeta, että niin ikään manuaalisella kuin automaattisella testauksella on omat paikkansa ohjelmistokehityksessä, ja menestyvät tiimit käyttävät onnistuneesti molempia menetelmiä. Useimmissa tapauksissa automaattinen testaus kannattaa, kunhan se on suunniteltu huolella. Lisäksi automaattisen testauksen tulisi keskittyä olemassaolevan toiminnallisuuden testaukseen. Manuaalinen testaus taas kannattaa keskittää uusien vikojen löytämiseen tutkivamman testauksen menetelmällä.