Mind Reader -projektin ohjelmistoarkkitehtuuri

Abstract

Opinnäytetyössäni käsittelen Demolassa syksyllä 2012 tehdyn Mind Reader –projektin ohjelmistoarkkitehtuuria, projektin toteutusta ja projektiin liittyvää liikkeentunnistustekniikkaa.

Liikkeentunnistustekniikka –luvussa kerron liiketunnistustekniikan taustasta ja liikkeentunnistuskameroista keskityn vain niihin, jotka liittyivät Mind Reader -projektiin läheisesti. Nämä kamerat ovat Asus Xtion –kamera ja Microsoft Kinect –kamera.

Projektin suunnittelusta kerron ensinnäkin projektin lähtökohdista ja sen tavoitteista. Tavoitteena oli kahden ohjelman tekeminen. Ensimmäinen ohjelma oli datansyöttöohjelma, jolla pystyttäisiin opettamaan ohjelmalle erilaisten käyttäjän ilmeiden tunnistamista. Toisen ohjelman oli tarkoitus hyödyntää datansyöttöohjelman keräämää dataa. Tästä ohjelmasta oli tarkoitus tehdä peliohjelma, jossa käyttäjää kehotettaisiin tekemään erilaisia ilmeitä ja liikkeitä.

Ohjelman ohjelmistoarkkitehtuurista kerron sen neljästä komponentista. Liikkeentunnistamiseen käytetään Asus Xtion –kameraa. Java-ohjelma suorittaa liikkeentunnistusta OpenNI-kehyksen avulla. Web-kamera tallentaa kuvia jatkuvasti. Näistä kuvista oli tarkoitus tunnistaa kasvojen ilme, mutta ominaisuus ei päätynyt lopuliseen ohjelman versioon. Java-ohjelma generoi käyttäjän kehon pisteistä SVG-kuvaan, josta generoidaan PNG-kuva. Java-ohjelman tallentamat tiedot lähetetään käyttöliittymälle Glassfish-sovelluspalvelimen avulla.

Projektin lopputuloksena projektista valmistui liikkeentunnistuspeli, jossa käyttäjää kehoitetaan suorittamaan kuutta erilaista liikettä. Ohjelmasta jouduttiin karsimaan ominaisuuksia, sillä projektipäällikön puuttuminen johti erinäisiin ongelmiin.

In my thesis I will talk about software architecture of a project made in Demola on autumn of 2012. I will also talk about project’s design process and about motion sensing technology.

In the motion sensing chapter I tell about background of motion detection technology. I only focus on those motion sensing cameras that were closely related to the Mind Reader project. These cameras were Asus Xtion and Microsoft Kinect.

In the next chapter I will go through the project design process, starting from project’s background and project’s goal. The project aimed to create two programs. First program would be a data collection program, which would be used to train the program to recognize emotions from user’s face. A second program would make a use of other program’s recognition capabilities. This program would be a game, which would encourage the player to make different face expressions and movements.

In the software architecture chapter I will focus on the four main components of the product. Asus Xtion camera is used for motion detection. Java program performs the motion detection with OpenNI framework. A webcam saves images all the time. These images were meant to be used by the face recognition section but the feature never made it to the final product. Java program generates an SVG image from user’s body part points and saves it as a PNG image. The files which Java program saves are sent to user interface with a Glassfish application server.

The end result of this project was a motion sensing game in which user is encouraged to perform six different movements. Many features had to be cut because of many difficulties caused by project not having a project leader.