Syvän neuroverkon päättelynopeus mobiililaitteella

Abstract

Tarve ja halu hyödyntää tekoälyä resurssirajoitteisissa laitteissa, kuten älypuhelimissa on lisääntynyt. Erityisesti syvien neuroverkkojen suorituskyky halutaan tuoda käytettäväksi myös mobiilisovelluksissa. Neuroverkkojen ajamisen laskennallinen vaativuus on ongelma rajoitetun prosessointitehon omaavissa älypuhelimissa. Ongelmaa on kierretty ulkoistamalla neuroverkkojen päättely palvelimille, mutta se on tuonut mukanaan ongelmia ja rajoitteita: datan siirtoon ei ole käytössä verkkoyhteyttä tai yhteys on hidas, palvelimien hankinta ja ylläpito tuottaa kustannuksia, ja datan säilyttämisessä ja käsittelyssä tulee huolehtia EU:n tietosuoja-asetuksen noudattamisesta.

Neuroverkkojen ajaminen paikallisesti laitteessa voi pienentää edellä mainittuja ongelmia tai poistaa ne jopa kokonaan. Tämän opinnäytetyön tarkoituksena oli selvittää, kuinka nopeasti neuroverkko päättelee nykyaikaisilla älypuhelimilla, kun käytetään resurssirajoitteisille laitteille tarkoitettua neuroverkkomallia. Tähän tarkoitukseen koulutettiin syvä neuroverkko kohteen tunnistus -tehtävään, jossa tunnistettiin levytangon pää. Toisena tarkoituksena oli selvittää, kuinka reaaliaikaisesti levytangon päätä voidaan seurata, kun seuranta toteutetaan peräkkäisten kuvien tunnistuksena videodatasta.

Levytangon pään tunnistukseen mukautettu neuroverkkomalli lisättiin React Native -sovelluskehyksellä toteutettuun mobiilisovellukseen, joka asennettiin testattaviin älypuhelimiin. Päättelynopeus testatuilla älypuhelimilla oli noin 330–550 ms, joka vastaa kuvataajuutena noin 2–3 FPS. Saavutettu päättelynopeus on kohtuullinen ja osoittaa, että neuroverkon päättelynopeus on riittävä, jos ei vaadita reaaliaikaisuutta tai nopeaa vasteaikaa. Jos halutaan seurata nopeasti liikkuvaa kohdetta, kuten levytangon päätä, neuroverkon tulisi kyetä vähintään 40–50 ms päättelynopeuteen. Tämän opinnäytetyön perusteella perustason älypuhelimilla ei pystytä reaaliaikaiseen kohteen seurantaan.

The desire and need to use artificial intelligence on devices with low processing power, like mobile phones, has increased. Powerful deep neural networks are in special demand, but their high computing needs are a problem for mobile phones. Previously the problem has been solved by using external processing on servers, but this doesn’t come without problems. The network connection might be slow or nonexistent, server acquisition and maintenance have costs, and data handling most obey legislation.

By having the neural network infer on device, these problems shrink in size or might disappear altogether. The purpose of this thesis was to find out the inference speed of modern mobile phones, when using neural network model that is designed to be used on devices with lower processing power. For this purpose, a network was trained to detect barbell end from images. A secondary aim for this thesis was to assess the real-time aspect of object tracking by finding out how well the barbell end is tracked through consecutive detections from video.

A neural network trained with custom data was added to the source code of mobile applications develop with React Native framework. The application was installed on tested mobile devices, which reached inference speeds of approximately 330–550 ms that corresponds to about 2–3 FPS. The reached inference speeds are reasonable for applications that doesn’t require low latency or real-time tracking. For real-time tracking the inference speed should be at least 40–50 ms. According to this thesis, basic smart phones aren’t capable of real-time object tracking through object detection with neural network.