Holmes – virtuaalinen ovimies

Abstract

Insinöörityön tavoitteena oli suunnitella ja kehittää automaattinen ovimies Holmes Emblican toimistolle. Holmes tunnistaa toimistolla vierailevat ihmiset kasvontunnistuksen avulla ja näyttää heille personoituja tietoja kuten toimistolla käyntien lukumäärän ja seuraavat lähtevät julkisen liikenteen kulkuyhteydet toimistolta käyttäjän lisäämään osoitteeseen.

Tablettitietokone asennetaan toimiston ulko-oven viereen, jonka käyttöliittymä kuvaa kameralla toimiston oven viereistä käytävää ja ottaa kuvan, jos laite huomaa vierailijan tai työntekijän kasvot. Kuva lähetetään palvelinsovellukselle käsiteltäväksi. Palvelinsovellus rakentaa vastaanotetusta kuvasta kasvovektorin ja selvittää indeksitietokannasta, onko saman henkilön kasvovektori tallennettu aikaisemmin. Uuden käyttäjän vektori tallennetaan indeksitietokantaan sekä relaatiotietokantaan. Palvelinsovellus palauttaa entuudestaan tunnetun käyttäjän tiedot käyttöliittymälle, joka tervehtii käyttäjää ja hakee HSL-rajapinnasta tiedot kulkuyhteyksistä.

Uusi käyttäjä ohjataan käyttöliittymästä QR-koodin avulla verkkosivulle, jossa hän voi lisätä nimen sekä osoitteen, joita käytetään käyttöliittymässä näytettäviin personoituihin sisältöihin. Käyttäjän lisäämät tiedot tallennetaan relaatiotietokantaan kasvovektoriin yhdistettynä.

The aim of the study was to design and implement an automatic janitor Holmes to Emblica’s office. Holmes recognizes people visiting the office with a face recognition implementation and shows personalized information to them including personalized greetings and information on the next departing public transportation options.

The tablet mobile device is installed next to the office door. The camera in the tablet monitors the space in front of the device and takes a picture if there is a face in front of the camera. The frontend application sends the picture to the application server for processing. The server extracts facial information from the picture with a deep learning facial recognition system and creates a face vector from the information. Similar faces are searched from the index database. If the person is not found it is stored to the index and also to the relational database. The server returns the person’s information to the frontend if the corresponding vector is already stored to the index. With the personal information the frontend greets the person with a name and fetches transportation options from the HSL integration.

After the first face recognition the frontend shows a QR-code to the user and it redirects to a website where the user can add their name and address. The website sends the information to the server and the information is stored with the facial vector.