Mobiilipelien automaattinen suorituskykytestaus

Abstract

Opinnäytetyönä tehtiin tapaustutkimus, joka toteutettiin työn ohella eräässä peliprojektissa. Työn aikana työskenneltiin mobiilipelien suorituskykytestauksen parissa. Työkuvaan kuului uusien testien rakentaminen, olemassa olevien testien optimointi, työkalujen ja prosessien laajentaminen sekä koko suorituskykytestauskokonaisuuden tutkiminen. Työn tarkoituksena oli kerätä yleishyödyllisiä oppikokemuksia ja parhaita käytänteitä mobiilipelien suorituskykytestauksessa Unreal Engine 4 -pelimoottorissa.

Tutkimuksessa saatiin kattava näkökulma mobiilipelien suorituskykytestaukseen ja siihen, miten Unreal Engine 4 -pelimoottorin tarjoamat työkalut auttavat testauksessa. Lisäksi saatiin kokemusta ja oppeja siitä, minkälaisiin eri ongelmiin suorituskykytestauksessa saattaa törmätä ja miten ne kannattaa ratkaista.

Unreal Engine 4 osoittautui erittäin käytännölliseksi suorituskykytestien toteuttamiseen, sillä se tarjoaa valmiit työkalut muun muassa profilointiin ja testitulosten visualisointiin. Lisäksi sen alitasopohjainen työnkulku on erittäin sopivaa testien rakentamiseen, sillä testien sisältö voidaan eristää testien omiin alitasoihin ja ladata sisään hallitusti testien aikana.

Isoimmiksi tapaustutkimuksen paljastamiksi ongelmiksi osoittautuivat pelaajan aktivoimat tapahtumat ja satunnaisesti generoidut tasot. Nämä ongelmat vaikeuttivat testien toteuttamista ja testituloksien pitämistä yhtenäisinä oikean pelin pelaamiseen verrattuna.

Suorituskykytestauksen parhaiksi käytänteiksi voidaan tiivistää seuraavat käytänteet: Suorituskykytestien ympäristö on paras luoda vastaamaan mahdollisimman paljon oikean pelin pelaamista. Mikäli pelissä on satunnaisesti generoitua sisältöä, on paras luoda testit kaikista vaativimmalle mahdollisen sisällön permutaatiolle ja testata näin sisällön alin mahdollinen suorituskyky. Pelin tukemille puhelinmalleille tarvitaan tarkat määritelmät, ja tuetut laitteet tulee testata läpikotaisin osana automatisointiputkea. Mikäli suorituskykyongelmia havaitaan, ne tulee korjata välittömästi optimoimalla sisältöä käyttämään laiteresursseja tehokkaammin.

This thesis is a case study, which was conducted alongside mobile performance testing work in a professional game project. The scope of work included building new tests, optimizing existing tests, extending tools and processes, and exploring the project’s performance testing framework. The purpose of the work was to collect general lessons learned and best practices for mobile game performance testing in the Unreal Engine 4 game engine.

The study provided a comprehensive perspective on mobile game performance testing and how the tools provided by the Unreal Engine 4 game engine help with testing. It also provided experience and lessons learned about the different problems that can arise in performance testing and how to solve them.

Unreal Engine 4 proved to be a very practical tool for performance testing, providing ready-to-use tools for profiling and visualization of test results, among other things. In addition, its sublevel workflow is very suitable for building tests, as test content can be isolated into its own test sublevels and loaded in a controlled way during testing.

The major problems revealed by the case study were player action-powered events and randomly generated levels. These problems made it difficult to run the tests and to keep the test results consistent with that of the real game's performance.

The following practices can be summarized as best practices for performance testing: It is best to create an environment for performance testing that is as close as possible to playing a real game. If the game has randomly generated content, it is best to create tests for the highest possible permutation of the content and thus test the lowest possible performance of the content. The phone models supported by the game need to be precisely defined, and the supported devices should be thoroughly tested as part of the automation pipeline. If performance problems are identified, they should be corrected immediately by optimizing the content to make smarter use of hardware resources.