Correlating biometric sensor data with emotional response analysis in VR using iMotions

Abstract

VR (virtuaalitodellisuus) ‑pohjaisten simulaatioiden käyttö yleistyy koulutustyökaluina. Realististen tunteiden herättäminen voi olla simulaatioille ensiarvoisen tärkeää. Tutkimuksen tavoitteena oli selvittää, kykeneekö VR‑skenaario herättämään mitattavissa olevia tunnereaktioita sekä mitkä biometrisistä mittareista - ihon sähkönjohtavuus (GSR), syke ja pupillin koko - ovat luotettavimpia ja soveltuvimpia kyseiseen mittaukseen. Tutkimuksessa käytettiin Varjo XR-3 ‑laseille Unity-pelimoottorilla kehitettyä VR-peliä, jonka säikytystilanteet oli suunniteltu herättämään tunnereaktioita. Pilottitutkimuksessa kerättiin biometristä tietoa VR-peliä pelaavilta osallistujilta käyttäen Shimmer3 GSR+ ‑anturia, Polar H10 ‑sykevyötä sekä Varjo XR‑3 ‑laseja. Aineisto analysoitiin iMotions-ohjelmistolla. Tulokset osoittivat, että GSR oli luotettavin ja johdonmukaisin mittari tunnereaktioiden tunnistamiseen. Syke- ja GSR-tietojen välillä löytyi korreloivia trendejä, jotka tukivat päätelmää, että sykevyön tarkkuus ja herkkyys riittävät VR-skenaarion herättämien tunnereaktioiden tutkimiseen. Opinnäytetyön johtopäätöksenä todettiin, että GSR- ja sykevyön syketiedot yhdistettynä voi olla tehokas ja käytännöllinen menetelmä VR-skenaarion herättämien tunnereaktioiden havaitsemiseen.

The motivation for this study comes from the growing use of VR simulations as training tools. Evoking realistic emotions can be essential in many simulations. The objective of this thesis was to explore whether a VR scenario can trigger measurable physiological responses and to determine which biometrics, from galvanic skin response (GSR), heart rate and pupil size, are the most reliable and suitable for measuring and detecting these responses.

A pilot study was conducted using a VR mini-game for the Varjo XR-3 headset developed with the Unity game engine. Jump scares in the game aimed to trigger emotional responses. Biometric data were collected from participants playing the mini-game using a Shimmer3 GSR+, a Polar H10 chest strap and the Varjo XR-3 headset, and analyzed using the iMotions software platform.

The results showed that GSR was the most reliable and consistent biometric for identifying emotional responses. Heart rate data showed trends correlating with GSR and supported the conclusion that the accuracy and sensitivity of a chest strap monitor is sufficient for use in VR-induced emotional response studies. This thesis concludes that a combination of GSR and heart rate strap readings may be an effective and practical method for detecting emotional responses during a VR scenario.