Tekoäly avustajana käyttäjäkokemuksen arvioinnissa : LLM-mallien ja ihmistestaajien vertailu
Valtanen, Mikko (2025)
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi:amk-2025112629894
https://urn.fi/URN:NBN:fi:amk-2025112629894
Tiivistelmä
Käyttäjäkokemuksen (UX) ja käytettävyyden merkitys on keskeinen ohjelmistokehityksessä, sillä järjestelmä epäonnistuu, jos sitä on vaikea käyttää. Suuret kielimallit (LLM) tarjoavat uusia mahdollisuuksia UX-arvioinnin tueksi, mutta niiden luotettavuutta suhteessa ihmistestaajiin on tutkittu vähän. Tässä opinnäytetyössä tarkasteltiin, miten LLM:tä voidaan hyödyntää UX-arvioinnissa ja miten sen havainnot vertautuvat ihmistestaajien löydöksiin.
Tutkimuksessa selvitettiin, millaisia käytettävyysongelmia malli tunnistaa ja kuinka osuvia ja vakavia havainnot ovat. Vertailu toteutettiin Finna-palvelun hakupolulla, jossa sekä viiden käyttäjän käytettävyystestissä että LLM-arviossa käytettiin samoja tehtäviä. Löydökset luokiteltiin Nielsenin heuristiikkojen ja 0–4-vakavuusasteikon mukaisesti.
Tulokset osoittivat, että LLM täydentää ihmistestausta erityisesti terminologian ja rakenteen osalta, vaikka osa käyttötilannesidonnaisista ongelmista jäi havaitsematta. Tarkoituksenmukaisimmaksi lähestymistavaksi osoittautui yhdistetty menetelmä, jossa LLM nopeuttaa alustavaa kartoitusta ja ihmistestaus varmentaa kriittiset kohdat. Tutkimuksen rajoitteita olivat pieni otos, yksi käyttöliittymä ja yhden mallin käyttö.
Tutkimuksessa selvitettiin, millaisia käytettävyysongelmia malli tunnistaa ja kuinka osuvia ja vakavia havainnot ovat. Vertailu toteutettiin Finna-palvelun hakupolulla, jossa sekä viiden käyttäjän käytettävyystestissä että LLM-arviossa käytettiin samoja tehtäviä. Löydökset luokiteltiin Nielsenin heuristiikkojen ja 0–4-vakavuusasteikon mukaisesti.
Tulokset osoittivat, että LLM täydentää ihmistestausta erityisesti terminologian ja rakenteen osalta, vaikka osa käyttötilannesidonnaisista ongelmista jäi havaitsematta. Tarkoituksenmukaisimmaksi lähestymistavaksi osoittautui yhdistetty menetelmä, jossa LLM nopeuttaa alustavaa kartoitusta ja ihmistestaus varmentaa kriittiset kohdat. Tutkimuksen rajoitteita olivat pieni otos, yksi käyttöliittymä ja yhden mallin käyttö.