Puheentunnistus virtuaalitodellisuudessa

Abstract

Insinöörityön tavoitteena oli toteuttaa puheentunnistusta ja virtuaalitodellisuutta hyödyntävä sovellus. Sovellus sisältää suunnitelman mukaan mahdollisuuden luoda, muokata ja poistaa erilaisia kappaleita kuten kuutioita ja palloja puheentunnistuksen avulla virtuaalimaailmassa. Työ tehtiin Unity-pelimoottorilla ja ohjelmointikielenä käytettiin C#-kieltä. IBM Watson -tekoälypalveluita hyödynnettiin puheentunnistuksen implementoinnissa. Sovellus on suunniteltu Android-laitteelle, mutta sitä voidaan muokata muille alustoille sopiviksi, esimerkiksi HTC Vivelle tai iOS-laitteelle.

Tuloksena syntyi IBM Watsonin palveluita hyödyntävä sovellus, jossa käyttäjä voi luoda ja poistaa kuutioita puheentunnistuksen avulla virtuaalitodellisuudessa. Kaikkia ominaisuuksia ei valitettavasti saatu implementoitua sovellukseen, mutta se tarjoaa hyvän pohjan laajentamista varten ja mahdollisuuden tutustua kyseiseen aiheeseen.

Sovelluksen avulla tutkittiin sitä, miten puheentunnistusta voitaisiin hyödyntää virtuaalimaailmassa. Samalla myös tarkasteltiin erilaisten puheentunnistusta tarjoavien palveluiden toimintaa ja helppokäyttöisyyttä sekä miten palveluiden yhdistäminen pelimoottoriin tapahtuu.

The purpose of this thesis was to create an application that utilizes speech recognition and virtual reality. According to the plan, the application includes the ability to create, edit and delete different 3D-models such as cubes and balls with the use of speech recognition in a virtual reality world. The project was done with Unity-game engine and the programming language was C#. IBM Watson -services were used in implementing speech recognition. The application was planned for an Android device, but it can be adjusted for other platforms such as HTC Vive or iOS.

In the end, the final version of the application only includes the ability to create and delete cubes. Unfortunately, other functionalities were not implemented, but this application can be used as a base project for creating similar applications and also offers possibilities to expand to different use cases of speech recognition or virtual reality.

The benefits and possibilities of using speech recognition in virtual reality were explored with the help of the application. At the same time the functionalities of different services offering speech recognition were researched, e.g. how easily it could be integrated to a game engine and the user-friendliness of using the services.