Tekoälyn hyödyntäminen pelin liikeohjauksessa

Abstract

Insinöörityön tarkoituksena oli tutkia erilaisia peleissä käytettyjä liikkeentunnistus- ja liikeohjaustekniikoita, perehtyä tarkemmin tekoälypohjaisiin menetelmiin ja toteuttaa tekoälypohjainen liikkeentunnistusjärjestelmä. Työssä tutkittiin liikeohjattavia pelejä ja niiden käyttämiä liikkeentunnistus- ja liikeohjaustekniikoita ensimmäisistä liikeohjattavista peleistä nykyaikaisiin ratkaisuihin asti. Lisäksi tutkittiin uusia tekoälytekniikoita, jotka mahdollistavat liikeohjauksen toteuttamisen peliin tavallisella kaksiulotteisella värikameralla.

Työssä toteutettiin konvoluutioneuroverkkoon perustuva asennontunnistusjärjestelmä ja liitettiin se peliin. Peliin toteutettiin tarvittavat komponentit asentojen käsittelyyn, eleiden tunnistamiseen ja pelihahmon ohjaamiseen. Asennontunnistusjärjestelmä toteutettiin käyttäen Python-ohjelmointikieltä, PyTorch-koneoppimisympäristöä ja PoseNet-asennontunnistusalgoritmia. Peli ja liikeohjauskomponentit toteutettiin Unity-pelimoottorilla ja C#-ohjelmointikielellä.

Työn lopputulos oli toimiva tekoälyyn perustuva liikkeentunnistusjärjestelmä, joka mahdol-listaa pelin liikeohjauksen web-kameralla. Järjestelmällä korvattiin aikaisemmin samassa pelissä käytetty Kinect-liikkeentunnistuskamera. Asennontunnistuksessa käytetty tekoäly vaatii pelikoneen tai muun tietokoneen, jossa on tehokas näytönohjain. Tarkkuudeltaan ja nopeudeltaan tekoälyyn perustuva liikkeentunnistusjärjestelmä ei ole aivan Kinect-laitteen tasoinen, mutta voi silti olla täysin riittävä moniin peleihin.

Työ osoitti, että liikeohjattava peli on mahdollista toteuttaa web-kameraa käyttäen, ilman erillisiä liikkeentunnistuslaitteita. Neuroverkot ja niiden suorittamiseen käytetyt komponentit kehittyvät tulevaisuudessa merkittävästi, joten neuroverkkoihin perustuvien liikkeentunnistustekniikoiden suorituskyky lähestyy erillisiä liikkeentunnistuslaitteita.

The aim of this thesis was to study the various motion sensing and motion control technologies used in video games, dive deeper into modern techniques based on artificial intelligence and implement a motion control system based on artificial intelligence. Motion controlled games and the technologies used in them were studied from the first motion-controlled games to modern solutions. Recent techniques utilizing artificial intelligence and RGB cameras were also studied.

A motion control system based on convolutional neural networks was implemented and used in a game. Game components were created for processing poses, recognizing ges-tures and controlling an avatar. The pose estimation system was built using the Python programming language, the PyTorch machine learning environment and the PoseNet pose estimation algorithm. The game and motion control components were built using the Unity game engine and C# programming language.

The end-result was a working motion tracking system based on artificial intelligence that enables motion controls using a standard webcam. The system was used to replace an earlier Kinect-based system used in the same game. The artificial intelligence used in pose estimation requires a gaming computer or any other computer with a powerful graphics card. The performance of AI-based pose estimation is worse than the performance of Kinect, but good enough for many motion-controlled video games.

The project proved that it is possible to create a motion-controlled game using only a standard webcam. The future will bring significant improvements in neural networks and the hardware used for AI inference. Therefore, motion sensing solutions based on neural networks will begin to approach discrete motion sensing hardware in performance.