Kinect v2 -sensorien luurankodatan fuusio

Abstract

Työn tavoitteena oli kehittää Seinäjoen Ammattikorkeakoulun virtuaalitekniikan laboratoriolle sovellus, joka yhdistää useampien Kinect v2 -sensoreiden tuottaman luurankodatan. Tarkempaa luurankoa voidaan hyödyntää virtuaalitodellisuudessa antamaan huomattavaa lisäimmersiota, kun käyttäjä voi nähdä koko vartalonsa virtuaalimaailmassa. Sovellusta varten selvitettiin algoritmeja, joita työssä voitaisiin käyttää kohdistamiseen ja fuusiointiin. Työhön valittiin Kabsch-algoritmi automaattiseen kohdistamiseen ja Kalman-suodin laadukkaan fuusion tekoon. Työssä käytettiin pohjana Microsoftin RoomAlive-projektia, joka tarjosi valmiin Kinect-palvelimen ja asiakasohjelman. Palvelin lähettää luurankodataa verkon yli ja asiakasohjelma vastaanottaa ja näyttää luurangot Unity-pelimoottorilla. Asiakasohjelmaa muokattiin projektin pohjaksi. Vastaanotetut luurangot kohdistetaan Kabschalgoritmilla niin, että samannimiset nivelet ovat mahdollisimman lähellä toisiaan. Tämän jälkeen samannimiset nivelet fuusioidaan Kalman-suotimella. Lopuksi sovellukseen liitetään HTC Vive -virtuaalilasit, ja fuusioitu luuranko skaalataan ja kohdistetaan niin, että se näkyy virtuaalilasien käyttäjän oman vartalon paikalla. Luurankojen kohdistus ja fuusio onnistuivat erinomaisesti. Fuusioitua luurankoa ei kuitenkaan saatu näkymään laseilla oikein työlle annetussa ajassa. Kunhan luurangon siirto virtuaalilaseille saadaan toimimaan, projektia voidaan käyttää antamaan immersiivisempi käyttäjäkokemus mille tahansa Unity-pohjaiselle virtuaalitodellisuussovellukselle.

The aim of this thesis was to develop a program for the Virtual Reality Laboratory of Seinäjoki University of Applied Sciences, that takes skeletal data from multiple Kinect v2 devices and fuses it. That fused skeleton could be applied to virtual reality to give the users more immersive experience as they could see their whole body in the virtual world. Algorithms were researched to be used for the alignment and fusion phases of the program. Kabsch algorithm was selected for automatic alignment and Kalman filter was selected for high-quality fusion. Microsoft’s RoomAlive project offers a Kinect server program that sends skeletal data over the network and a client program that receives it, and displays the skeletons in the Unity game engine. This project was modified to be the base of our program. Kabsch algorithm was implemented to align the skeletons and Kalman filter was used to fuse the aligned joints together. Finally, the HTC Vive was added to the program and the fused skeleton was scaled and aligned to fit the headset. The alignment and fusion of the skeleton worked very well. However, the alignment for the virtual reality headset was not achieved in time. When the alignment is working, the program can be used to provide more immersive user experience to any Unity based virtual reality program.