Tekoälypohjaisten vastausten laadun arviointi

Abstract

Tämä insinöörityö tutkii tekoälypohjaisen chatbotin tuottamien vastausten laatua ja niiden hyödyllisyyttä asiakaspalvelussa. Työ toteutettiin yhteistyössä Icare Finlandin kanssa, ja sen tavoitteena oli kouluttaa ja testata tekoälypohjaista chat-palvelua iCare HOME2 -tonometrille. Arviointimenetelminä käytettiin heuristista arviointia ja sisällön analyysiä, joiden avulla chatbotin vastauksia analysoitiin tarkkuuden, selkeyden, relevanssin ja asiayhteyden ymmärtämisen näkökulmista.

Tulokset osoittivat, että chatbot suoriutui hyvin yksinkertaisissa ja selkeissä kysymyksissä, mutta monimutkaisemmissa ja teknisissä kysymyksissä sen suorituskyky oli rajoittuneempi. Erityisesti virheiden hallinta ja monitulkintaisten kysymysten käsittely vaativat parannusta. Chatbotin vahvuuksia oli sen kyky tarjota selkeitä ja käyttöohjeiden mukaisia vastauksia peruskäyttöön liittyvissä kysymyksissä, mikä parantaa käyttäjäkokemusta ja asiakastyytyväisyyttä.

Työn johtopäätöksenä todettiin, että tekoälypohjaisella chatbotilla on potentiaalia tehostaa asiakaspalvelua ja vähentää manuaalisen työn tarvetta, mutta sen tietopohjaa ja algoritmeja tulee kehittää edelleen, jotta se pystyy käsittelemään monimutkaisempia tilanteita ja tarjoamaan luotettavia ratkaisuja kaikissa asiakaspalvelutilanteissa.