User experience testing of visual scripting : using Blueprints and PlayMaker

Abstract

The objective of this thesis work was to provide a statistical and practical evaluation to visual scripting tools with user experience test providing the viewpoint of a target user, and compare two different tools on two separate game development engines.

This thesis was commissioned by Turku Game Lab and is based on the request of the commissioner to look into the visual scripting tools found in Unreal Engine and on Unity.

The goal was to study Unreal Engine 4 and its internal visual scripting tool, Blueprints, in direct comparison to Unity’s plugin, PlayMaker. The author outlined definitions for tasks and attempted to complete similar projects on both engines utilizing only the visual scripting tools while contrasting user story method with the data.

The focus of the thesis remained on the comparison between the two visual scripting languages and on the data collected through task completion success rates. Both game engines and scripting languages are similar to one another but the languages had different approaches to problem solving, such as variable and node connection counts. Additionally, the thesis shows how inexperience with programming can be one of the greatest difficulties for a beginning developer faces and provides statistical analysis on these claims.

Tämän opinnäytetyön tavoiteena oli antaa tilastollinen ja käytännöllinen arvio visuaalisille skriptityökaluille käyttäjäkokemustestauksella kohdekäyttäjän näkökulmasta ja vertailla kahta eri työkalua kahdella erillisellä pelikehitysmoottorilla.

Opinnäytetyön tilasti Turku Game Lab ja se perustuu tilaajan pyyntöön tutkia Unreal Enginestä ja Unitystä löytyviä visuaalisia skriptityökaluja.

Tavoitteena oli tutkia Unreal Engine 4 sisäistä visuaalista skriptityökalua nimeltä Blueprints ja verrata sitä suoraan Unityn ladattavaan lisäosaan nimeltä PlayMaker. Kirjoittaja määritteli mahdollisimman samanlaiset tehtävät ja yritti suoriutua niistä käyttäen ainoastaan molempien pelimoottoreiden skriptityökaluja, luoden käyttäjätarinan analysoitavaksi tuloksien rinnalle.

Opinnäytetyön painopiste keskittyi kahden visuaalisen skriptikielen vertailuun ja asetettujen tehtävien onnistuneesti suoriutumisista kerättyyn tietoon. Molemmat moottorit ja kielet olivat hyvin saman tyyliset, mutta muuttujien ja graafisten noodien määrät vaihtelivat samojen ongelmien ratkaisuissa. Tutkimus osoittaa, mitkä voivat olla suurimpia vaikeuksia aloittavalla pelikehittäjälle ja tarjoaa tilastollisen analyysin osoittamaan niitä.