Dynaaminen muistiverkko keskustelubotin kehityksessä

Abstract

Insinöörityössä tutkittiin koneoppimisen alan mahdollisuuksia tuottaa terapian kontekstissa dialogiin pystyvä keskustelubotti, joka kykenee matkimaan kognitiivisessa terapiassa käyvää ihmisasiakasta mobiilipelissä. Työn tavoitteena oli löytää lupaava neuroverkkoarkkitehtuuri, joka kelpaisi jatkokehityksen pohjaksi insinöörityön jälkeen. Jatkokehityksen tuloksena toteutetulta keskustelubotilta edellytettäisiin kykyä tunnistaa ja käyttää tunnesanastoa, muistaa käyttäjän esittämiä kysymyksiä ja vastata kysymyksiin sopivilla kokonaisilla lauseilla.

Työ toteutettiin PyCharm-ohjelmointiympäristössä Python-kielellä. Koodin pohjaksi valittiin GitHub-verkkosivustolta vuonna 2016 aloitettu koodiprojekti dynaamisesta muistiverkosta, jota on siitä lähtien päivitetty kesään 2018 asti. Dynaamiset muistiverkot ovat vuoden 2015 syksyllä julkaistu neuroverkkoarkkitehtuuri, joka on tuottanut erinomaisia tuloksia visuaalisissa ja tekstipohjaisissa kysymyksiin vastaus -tehtävissä.

Neuroverkon kouluttamiseen käytettiin Facebook Research -instituutin kehittämässä bAbI-projektissa tuotettua tietojoukkoa, joka sisältää 20 erilaista loogisen päättelyn tehtävää, jotka testaavat koneoppimisalgoritmin yleistä pätevyyttä kysymyksiin vastaamisessa. Kooditoteutuksen vaihtamisen jälkeen verkon koulutus sujui odotetusti, pois lukien näytönohjaimen poikkeuksellisen hitaat koulutussuoritukset.

Dynaamiset neuroverkot olivat työn tekijälle uusi arkkitehtuuri, joten iso osa työstä kului toistuvien neuroverkkojen teoreettisten käsitteiden omaksumiseen. Koulutustuloksien perusteella verkon perustoiminta on varmistettu, ja jatkoa ajatellen verkon pätevyyttä voi testata dialogiin perustuvalla tietojoukolla, mikä Unity-pelimoottoriin kiinnittämisen yhteydessä auttaisi selvittämään mallin soveltuvuuden pelikäyttöön.

The goal of the thesis was to study machine learning solutions that could be applied to create a suitable foundation for a chatbot capable of answering simple questions in the guise of a fictitious therapy client undergoing cognitive behavior therapy. To accomplish this the chatbot would require the ability to understand emotive language, maintain a consistent personality and be able to speak in complete sentences. The thesis contains a primer on chatbots, their historical significance as well as current trends within the industry.

The technical aspect of the thesis was performed within PyCharm IDE. The code used for the project is open source and can be downloaded from GitHub. The technique under consideration is called a Dynamic Memory Network, a type of algorithm first published in late 2015, notable for its high performance in question answering tasks.

The source code came with a dataset that is part of the bAbI project from Facebook Research and was used to train the network while documenting the results. Along the way the code implementation ended up being scrapped from one that used Theano library to a more recent one that was made with TensorFlow, in order to accommodate successful GPU training along with a CPU version for comparison.

Due to unfamiliarity with Dynamic Memory Networks and NLP techniques in general, a big chunk of the allotted time was spent studying the fundamentals of chatbots, recurrent neural networks and associated technologies. Promising avenues for continued development include testing the network’s performance on a dialogue-based dataset, and if successful, working on integrating the model inside Unity game engine for use within a mobile game application.