Pirbotti-chatbotin käytettävyys ja käyttäjäkokemukset

Abstract

Opinnäytetyö toteutettiin työelämälähtöisenä Pirkanmaan liiton PirSOTE-hankkeelle. Tavoitteena oli tutkia mitkä tekijät vaikuttavat chatbotin käytettävyyteen ja käyttäjäkokemukseen. Tavoitteena oli myös saada kuva siitä, miten chatbottien käyttöön suhtaudutaan. Opinnäytetyön tarkoituksena oli selvittää millaisena käyttäjät kokevat Pirbotti-chatbotin nykyisen käytön. Samalla pyrittiin saamaan selville se, että kokevatko käyttäjät chatbotin hyödylliseksi asiointikanavaksi sosiaali- ja terveydenhuollossa ja onko heillä parannusehdotuksia sen käyttöön liittyen.

Opinnäytetyö toteutettiin monimenetelmällisenä tutkimuksena. Opinnäytetyön kehittämistehtävänä luotiin konkreettinen kehitysehdotus chatbotin käytettävyyden ja käyttäjäkokemuksen kehittämiseksi. Pirbotti-chatbotin käytettävyyden ja käyttäjäkokemuksen tutkimus toteutettiin marraskuussa 2022 asukastestauksina. Menetelminä käytettiin havainnointia, fokusryhmähaastattelua ja sähköistä kyselylomaketta. Asukastestauksiin osallistui kolme ryhmää, joissa oli yhteensä 23 vapaaehtoista testaajaa. Kaikille kolmelle ryhmälle toteutettiin testauksen jälkeen sähköinen kysely. Kahta ryhmää lisäksi havainnoitiin Pirbotti-chatbotin testauksen aikana ja he osallistuivat testauksen jälkeen fokusryhmähaastatteluun. Laadullisen aineiston sisällönanalyysilogiikka oli teoriaohjaava sisällönanalyysi ja määrällisen aineiston analysointiin hyödynnettiin Excel laskentataulukko-ohjelmistoa, CUQ-pistelaskentataulukkoa ja NPS-mittaria.

Asukastestaajien kokema ensivaikutelma Pirbotti-chatbotista on pääosin positiivinen. Kriittisimmät havainnot liittyvät chatbotin hakusanojen ja -lauseiden tunnistamiseen. Chatbot-kuvakkeen ja –ikkunan näkyvyyteen toivotaan parannusta. Testaajat kokevat sosiaali- ja terveysasioiden hoidon chatbotin avulla luontevana ja se mahdollistaa asioinnin paikasta riippumatta. Ihmisasioinnin mahdollisuus nähdään käyttökokemusta parantavana tekijänä. Johtopäätöksinä voidaan todeta, että chatbotin persoona, suorituskyky, ensivaikutelma ja tekninen toiminta, sekä käyttäjään liittyvät tekijät vaikuttavat käytettävyyteen ja käyttäjäkokemukseen. Opinnäytetyön tuloksia voidaan hyödyntää Pirbotti-chatbotin kehitystyössä. Jatkotutkimusehdotuksena nousi esille selvittää mahdolliset muutokset käytettävyyden ja käyttäjäkokemuksen osalta sitten, kun Pirbotti-chatbotin kehitystyötä on jatkettu.

The objective was to gather information about usability and user experiences of the chatbots. The purpose was to examine how the Pirbotti chatbot was experienced by the users. Based on the results, a development proposal was created, which the client can use in further development of the Pirbotti-chatbot.

This study was conducted as a mixed-method study. The data were collected from 23 participants by using an electronic survey. Fifteen participants were also observed and they participated in a group interview after use. The qualitative data were analysed through theory-driven content analysis. Quantitative data were analyzed in an Excel program, CUQ and NPS calculation tools.

The majority of participants believed that the first impression of the Pirbotti chatbot was mostly positive. The chatbot was perceived to be friendly and told in which matters it can help user. The participants stated that there is need for improvement in identifying search words and phrases. Also the visibility of the chatbot window and icon need to be improved. The findings indicate that the chatbot's personality, performance, first impression and technical operation, as well as user-related factors affect usability and user experience of the chatbot.