Eye and Hand Tracking in VR Training Application
Laivuori, Niko (2021)
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi:amk-2021061415931
https://urn.fi/URN:NBN:fi:amk-2021061415931
Tiivistelmä
Varjo VR-2 Pro -virtuaalilaseissa on korkea resoluutio ja sisäänrakennetut silmän- ja käsienseuranta ominaisuudet. Tämän työn tarkoituksena oli lisätä Varjon lasit olemassa olevaan virtuaalitodellisuusprojektiin, jonka tavoitteena on kouluttaa merikapteeneja rahtilaivan ohjaamisessa. Sovelluksessa käyttäjä ohjaa rahtilaivaa komentosillalla ja pyrkii navigoimaan saaristossa. Sovelluksen ongelma oli vanhan virtuaalilasiteknologian heikko resoluutio sekä intuitiivisen käyttökokemuksen puute. Näitä ongelmia pyrittiin ratkaisemaan Varjon modernimmilla laseilla. Tässä työssä keskityttiin erityisesti silmänseurannan käyttöön, mutta myös käsienseurantateknologiaa selvitettiin.
Työ toteutettiin komentosiltasimulaattorin tavoin Unity-pelimoottorissa. Työn toteutuksessa hyödynnettiin vanhaa komentosiltaprojektia ja Varjon tarjoamia kirjastoja. Lopputuloksena Varjo VR-2 Pro -virtuaalilasit saatiin toimimaan komentosiltaprojektissa, ja saatiin aikaan komentosiltasimulaattori, joka hyödyntää silmänseurantateknologiaa simulaattorin käyttäjän arvioimisessa. Työssä tutkittiin myös Varjon tarjoamaa käsienseurantateknologiaa. Työ toimii hyvänä alustana monimutkaisemmille jatkokehitysmahdollisuuksille Varjon virtuaalilasien kanssa. The Varjo VR-2 Pro virtual reality head-mounted display has high resolution and in-built hand and eye tracking features. The purpose of this thesis was to research eye and hand tracking technologies used in VR applications, and add the Varjo head-mounted display to an existing virtual reality simulation meant for training sea captains in commanding a freighter ship. In the simulation the user is on the command bridge trying to navigate in an archipelago environment. The simulation is using older VR technology, resulting in low resolution and unintuitive user experience. These problems are tackled with the Varjo VR-2 Pro HMD. This thesis mainly focuses on the eye tracking features but also touches upon the hand tracking.
The work was carried out using Unity3D game engine, the existing command bridge simulation and Varjo libraries. In the end the Varjo HMD was integrated to the project and as a result the command bridge application was using eye tracking to evaluate the user performance to a small extent. Varjo hand tracking was also used in the project. The finished project works as a good starting point for more complex development ideas with Varjo VR glasses.
Työ toteutettiin komentosiltasimulaattorin tavoin Unity-pelimoottorissa. Työn toteutuksessa hyödynnettiin vanhaa komentosiltaprojektia ja Varjon tarjoamia kirjastoja. Lopputuloksena Varjo VR-2 Pro -virtuaalilasit saatiin toimimaan komentosiltaprojektissa, ja saatiin aikaan komentosiltasimulaattori, joka hyödyntää silmänseurantateknologiaa simulaattorin käyttäjän arvioimisessa. Työssä tutkittiin myös Varjon tarjoamaa käsienseurantateknologiaa. Työ toimii hyvänä alustana monimutkaisemmille jatkokehitysmahdollisuuksille Varjon virtuaalilasien kanssa.
The work was carried out using Unity3D game engine, the existing command bridge simulation and Varjo libraries. In the end the Varjo HMD was integrated to the project and as a result the command bridge application was using eye tracking to evaluate the user performance to a small extent. Varjo hand tracking was also used in the project. The finished project works as a good starting point for more complex development ideas with Varjo VR glasses.