Kuvan äänentaajuuteen yhdistävä neuroverkkosovellus

Abstract

Insinöörityönä kehitettiin internetselaimessa toimiva sovellus, joka koneoppimista hyödyntäen assosioi kuvan tiettyyn äänentaajuuteen. Kuva- ja äänilähteenä sovellukselle toimivat kaikki kamerat ja mikrofonit, joihin internetselaimella on pääsy. Käyttäjä tuottaa haluamallaan tavalla erilaisia äänentaajuuksia, joihin sovellus yhdistää kuvan. Näin koneoppimismalli oppii yhdistämään tietyn asetelman kuvassa tiettyyn äänentaajuuteen.

Sovelluksessa käytettiin TensorFlow.js-Javascript-kirjastoa, joka mahdollistaa koneoppimismallien koulutuksen ja käytön internetselaimessa. Esikoulutettua MobileNet-mallia käytettiin esimerkkiaineiston esiprosessoinnissa, ja varsinainen ennustaminen toteutettiin omassa mallissaan. Äänen prosessoinnissa käytettiin Web Audio API -Javascript-rajapintaa. Insinöörityöraportissa selvitettiin koneoppisen teoriaa, sovelluksen kehityksessä käytettyjä menetelmiä ja sovelluksen toiminta.

Aineiston keräämisessä ilmenneen ongelman vuoksi sovellus jäi soveltuvuusselvitystasolle, minkä vuoksi suunniteltua koneoppimismallin optimointia ei voitu järkevästi toteuttaa. Sovellus kuitenkin osoittautui toimivan pienilläkin aineistomäärillä, kun koulutettavat luokat erosivat toisistaan riittävästi. Liian pienet eroavaisuudet kuvissa eri luokkien välillä olivat pienellä aineistomäärällä liian samankaltaisia, eikä malli kyennyt tuottamaan luotettavia ennusteita.

Riittävällä aineistomäärällä koulutettua optimoitua koneoppimismallia voitaisiin käyttää käyttöliittymänä esimerkiksi yksinkertaisissa web-peleissä tai soittamisen opetuksessa. Sovellus voisi verrata käyttäjän äänentuottamistekniikkaa hyvinä pidettyihin tekniikoihin ja ohjeistaa käyttäjää oikeaan suuntaan toiminnassa.

The goal of this final year project was to develop an application which exploits machine learning. The application runs fully in the browser and associates audio frequencies to images. User produces audio frequencies as they wish and machine learning model learns to connect certain audio frequencies to corresponding images. Applications can process video- and audio streams from any video or audio source that is available for the browser.

TensorFlow.js javascript-library was used to teach and use machine learning models in the browser and audio processing was managed with Web Audio API javascript interface. Pre-trained MobileNet model was used for data preprocessing and predictions were produced in its own model. In thesis part machine learning theory, used methods and application principles were covered.

Because of the problem detected while gathering data the application got stuck to proof of concept level. Due to that planned optimization of the model could not been implement in a meaningful matter. The application though proved to work with small amount of data if the classes to be taught differed sufficiently.

If taught with sufficient amount of training data the model could be used as an interface for web-based games or to teach how to play musical instruments. The application could com-pare users sound producing technique to good practices and thus guide user to preferable direction.