Koneoppiminen ja sen menetelmien hyödyntäminen asiakaspalveluchatin viestien luokittelussa

Abstract

Tämän opinnäytetyön tarkoituksena oli selvittää, miten valitut ohjatun oppimisen koneoppimismenetelmät soveltuvat asiakaspalveluchatin viestien luokittelutehtävässä. Tavoitteena oli kouluttaa ja testata luokittelumalleja sen arvioimiseksi, kuinka ne kykenevät jakamaan asiakaspalveluchatin viestit ennalta määriteltyihin kategorioihin.

Opinnäytetyön teoriaosuudessa käsiteltiin koneoppimista, erityisesti ohjattua oppimista ja sen menetelmiä, kuten päätöspuu, Naive Bayes ja tukivektorikone. Lisäksi tarkasteltiin luonnollisen kielen käsittelyn (NLP) hyödyntämistä koneoppimisessa sekä koneoppimisprosessin keskeisiä vaiheita tekstiluokittelutehtävässä.

Koneoppimismallien koulutuksessa käytettiin kolmea eri algoritmia: päätöspuu, Naive Bayes ja tukivektorikone. Asiakaspalveluchatin viestit luokiteltiin neljään luokkaan. Koneoppimismallien koulutus toteutettiin Python-ohjelmointikielellä hyödyntäen Pandas-kirjastoa datan käsittelyyn, Scikit-learn-kirjastoa koneoppimismallien rakentamiseen ja arviointiin sekä Matplotlib-kirjastoa tulosten visualisointiin. Suorituskyvyn arvioinnissa käytettiin mittareita F1-score, tarkkuus, osumatarkkuus ja herkkyys.

Tulokset osoittivat, että eri mallien suhteen on eroja muun muassa siinä, miten luokkien epätasapaino voi vaikuttaa kykyyn suoriutua luokittelutehtävästä.

The purpose of this thesis was to investigate how selected supervised machine learning methods are suitable for the task of classifying customer service chat messages. The goal was to train classification models and examine the trained classification models which are able to divide new messages into predefined categories and thereby support the automation of the customer service process.

In the theory part of the thesis report discusses, the basics of machine learning, supervised learning, Decision Trees, Naive Bayes and Support Vector Machine. In addition, the use of natural language processing (NLP) in machine learning and the key steps of the machine learning process in the text classification task were examined.

Three different algorithms were used to train the machine learning models: decision tree, Naive Bayes and support vector machine (SVM). Customer service chat messages were classified into four categories. Training machine learning models was implemented in the Python programming language using the Pandas library for data processing, the Scikit-learn library for building and evaluating the machine learning model and the Matploblib library for visualizing the results. The performance metrics used were F1 score, accuracy, precision and recall.

The results showed that differences were observed between the different models, among other things, in how class imbalance affects the ability to perform the classification task.