Utilising computer vision to solve arithmetics on Android

Abstract

The objective of this thesis was to create a native Android application, which uses machine learning to solve hand-written addition equations from images captured with a device’s camera. Additionally, the application was required to use a machine learning model trained with a pre-existing dataset and optimally be able to complete the given task on high end devices without noticeable latency.

A pretrained mobile first deep convolutional neural network from the MobileNets family was chosen as the machine learning model. The MobileNet model had relatively low requirements for processing power, making it possible to run inference on a mobile device in real time. The neural network was trained with an augmented MNIST handwritten digits dataset combined with a custom dataset for the addition operator class.

Image preprocessing and character extraction functionality was implemented on the client to allow the machine learning model to classify hand-written characters with a satisfactory accuracy. Most of the preprocessing steps which have been applied to the MNIST dataset are also performed in real time for all camera input by the application.

The outcome of the thesis is an Android application which can be used to scan and solve hand-written addition equations from a device’s camera feed in real time. Testing on handwritten characters proved that the application could be used with reasonable accuracy.

Insinöörityössä oli tavoitteena kehittää natiivi Android-sovellus, joka koneoppimista käyttäen kykenee ratkaisemaan käsinkirjoitettuja yhteenlaskuja mobiililaitteen kameralla otetuista kuvista. Sovelluksen käyttämä koneoppimismalli tuli kouluttaa vapaasti saatavilla olevalla tietoaineistolla, ja sen tuli kyetä johtamaan oikea luokittelu syötteestä ilman merkittävää viivettä.

Käytetyksi koneoppimismalliksi valikoitui MobileNets-koneoppimisperheen syvä konvolutionaalinen mobiili ensin -neuroverkko. Koneoppimismalli valittiin sen tarvitseman suhteellisen matalan laskentatehon takia, joka omalta osaltaan mahdollisti reaaliajassa tapahtuvan syötteen luokittelun. Neuroverkko koulutettiin tunnistamaan numerot 0–9 laajennetulla MNIST-tietoaineistolla ja yhteenlaskuoperaattori insinöörityötä varten käsitellyllä tietoaineistolla.

Jotta koneoppimismallin oli mahdollista luokitella kuva kameran syötteestä, tuli kuva ensin esiprosessoida ja siinä olevat merkit piti erotella muusta kuvasta. Sovellus esiprosessoi kameran syötteen reaaliajassa käyttäen samoja esiprosessointitekniikoita, joita on käytetty MNIST-tietoaineiston esikäsittelyssä.

Insinöörityön lopputuloksena valmistui vaatimuksien mukainen Android-sovellus, jolla käyttäjä pystyy ratkaisemaan laitteen kameralla kuvattuja käsin kirjoitettuja yhteenlaskuja reaaliajassa. Sovellusta testattiin käsin kirjoitetuilla merkeillä, ja sen todettiin toimivan kohtuullisella tarkkuudella.