Koneoppimisen keinoin toteutetun tikettiluokittelijan teknologiaa ja case-kuvaus

Abstract

Yritykset muodostavat saamistaan yhteydenotoista tikettejä, joita ohjataan yhteydenoton aiheen ja sisällön perusteella sopiville yksiköille ja ihmisille käsittelyyn. Tikettien luokittelu ja ohjaaminen on varsin työllistävää ja siten kustannuksia aiheuttavaa tekemistä, minkä vuoksi tikettien käsittelyä pyritään automatisoimaan. Opinnäytetyössä haluttiin ymmärtää, miten koneoppimisen keinoin voidaan toteuttaa tikettiluokittelija yrityksen tarpeisiin. Työssä tarkastellaan tikettiluokittelijalle teoreettisen pohjan antavia luonnollisen kielen käsittelyn sekä koneoppimisen menetelmiä. Käytännön toteutuksesta käytetään esimerkkinä Istekki Oy:ssä toteutettua tikettiluokittelijaa.

Luonnollisen kielen käsittelyn teoriaosuudessa kerrotaan, miten kirjoitettu teksti saadaan sellaiseen muotoon, jota tietokone kykenee käsittelemään. Kuvattuja menetelmiä ovat esimerkiksi tokenisointi, stemmaaminen ja lemmatisointi. Tekstin painottamisen ja analysoimisen osalta työssä käsitellään TF-IDF-mallia, vektoriavaruusmallia sekä pääkomponenttianalyysiä. Koneoppimisen teoria-osuus painottuu suosituimpiin luokitteluun kykeneviin koneoppimisen menetelmiin eli päätöspuuhun, naiiviin bayesilaiseen luokittelijaan, satunnaismetsään, tukivektorikoneeseen ja k-lähimmän naapurin luokittelijaan. Teoriaosuudessa käydään läpi myös tyypillisimmät mittarit, joilla luokittelijoiden toimivuutta arvioidaan.

Case-esimerkkinä kuvataan Istekki Oy:ssä luotu tikettiluokittelija, jonka toteutuksessa hyödynnetään teoriaosuudessa kuvattuja luonnollisen kielen käsittelyn menetelmiä sekä koneoppimisen puolelta päätöspuuta ja naiivia bayesilaista luokittelijaa. Tikettiluokittelijan toimivuutta arvioidaan valittujen mittareiden kautta sekä vertaamalla samassa yhtiössä ihmisen tekemän tikettiluokittelun onnistumiseen. Lisäksi kuvataan kahdessa suomalaisessa ohjelmistoalan yhtiössä toteutetut, lopulta varsin samankaltaiset, tikettiluokittelijan toteutukset. Luokittelijoiden saamien tulosten voidaan todeta olevan vielä kaukana koulutetun ihmisen tuloksista, mutta kuitenkin tuottavan riittävästi hyötyjä perustelemaan niiden käytön.

Companies form tickets out of the emails they receive. Then the tickets are classified and directed to suitable units and people for handling. Since this is a fairly time-consuming - and therefore costly - task, it is beneficial to automate the handling of tickets. This thesis aims to understand how an automated ticket classifier can be built through the means of machine learning. The thesis describes suitable theories and practices from the fields of natural language processing (NLP) and machine learning. A case example of an automated ticket classifier built in Istekki Oy is also described in detail. In addition, two other ticket classifier case examples sourced from literature are summarized.

To handle text with machine learning algorithms, pre-processing must be done using techniques such as tokenization, stemming and lemmatization. For weighting and analysing of the text, models such as TF-IDF, vector space model and main component analysis are considered. Classification problems are solved in machine learning through methods such as decision tree, naïve Bayesian classifier, random forest, support vector machine and k-nearest neighbour classifier. These are all discussed in the theoretical section of this thesis.

A case description of the automated ticket classifier built in Istekki Oy is written after interviewing on two separate occasions the person mainly responsible for building it. Additional information is sourced through a few email exchanges with the person. It is found that many of the NLP techniques are indeed used in creating the classifier as are some of the machine learning methods, namely decision tree and naïve Bayesian classifier. The efficiency of the classifier is evaluated using some of the typical measures such as accuracy, recall and F1 score. In addition, a comparison to classification performance of humans is attempted. It is concluded that even though less accurate than its human counterpart an automated ticket classifier still significantly reduces the amount of human work and thus justifies the classifier’s existence.