Käyttöliittymä viestintärajoitteisille Kinect V2 -liikeohjainta hyödyntäen

Abstract

Opinnäytetyön aiheena oli suunnitella ja toteuttaa sovellus tietokoneelle viestin-tärajoitteiselle käyttäjälle hyödyntäen Kinect V2 -liikeohjainta. Sovelluksen avulla viestintärajoitteinen käyttäjä voi ilmaista itseään helpommin kirjoittamalla tekstiä näytölle hyödyntämällä kehonsa liikkeitä. Työn toimeksiantajana oli Collapick Company Oy. Viestintärajoitteinen on henkilö, jolla on ongelmia ilmaista itseään yleisin tavoin kuten esimerkiksi puhumalla tai viittomalla. Rajoitteisuus haittaa henkilön elä-mää jonka takia on kehitetty erilaisia työkaluja helpottamaan tilannetta. Tietotek-niikan kehitys mahdollistaa näiden työkalujen korvaamisen uusilla työkaluilla, jotka toimivat tehokkaammin ja hyödyllisemmin kuin aikaisemmat. Kinect V2 on liikeohjain, jonka sisältämät kamerat tunnistavat sen edessä olevat käyttäjät ja pystyvät tunnistamaan niiden liikkeitä. Laitteessa on myös mikrofoni, jonka avulla laitteen ympäristön äänistä voidaan tunnistaa puhetta. Työssä käsitellään sovellukseen liittyvää laitteistoa, suunnitteluvaihetta sekä sen toteuttamista. Sovelluksen toteuttamiseen käytettiin Unity 3D-pelimoottoria, C#-skriptejä ja Kinect V2 MS-SDK -kirjastoa hyödyntävää lisäosaa Unitylle. Sovel-luksen käyttö vaatii Kinect V2 -liikeohjaimen toimiakseen.

The subject of the Bachelor’s thesis was to plan and develop a computer pro-gram for people with reduced communication abilities using Kinect V2. By using the application, a person with reduced communication ability can write text by moving his/her body. The work was commissioned by Collapick Company Oy.

A person with reduced communication abilities has a permanent disability to communicate using normal ways such as talking or sign language. The disability harms their daily life and there are already some tools to help them to communi-cate with other people. The technology has developed far enough to develop even better and more efficient tools to help them.

Kinect V2 is a motion sensing input device. With using its cameras it can detect people in front of it and tract their body movement. It also includes a microphone to track speech from the environment.

The thesis contains information about how the program vas planned and devel-oped and what tools were used. The program was developed by using Unity 3D game engine, C# programming language and a plug-in that uses Kinect V2 MS-SDK library. The program requires Kinect V2 to work.