Developing a help centre with a retrieval-augmented conversational AI system

Abstract

Tämä opinnäytetyö pyrki parantamaan käyttäjätukea toimeksiantajan arkistointiohjelmistossa kehittämällä sivuston, joka tarjoaa olennaiset ohjelmisto-ohjeet. Sivusto auttaa käyttäjiä ratkaisemaan yleisiä ongelmia itsenäisesti vapauttaen samalla tukitiimin ja kehittäjien aikaa muille tehtäville.

Lopputuloksena syntyi ohjekeskus-sivusto ja retrieval-augmented generation-tekniikkaa hyödyntävä keskustelutekoälyjärjestelmä. Pääasiallisesti käytetyt teknologiat olivat Laravel ja Tailwind CSS. Yksi tärkeimmistä tavoitteista oli selvittää tekoälyn käyttöönottomahdollisuuksia sovelluksessa, jolle on tiukat tietosuojavaatimukset. Tekoälyjärjestelmä rakentui perussivuston päälle hyödyntäen LlamaIndexiä retrieval-augmented generation -ohjelmistokehyksenä ja OpenAI:n GPT-3.5 Turbo-mallia sekä Ada-tekstiupotusmallia luonnollisen kielen käsittelytehtäviin.

Verrattaessa ohjekeskukseen, tekoälyjärjestelmän heikkoudeksi nousi suomen kieltä tukevien avoimen lähdekoodin kielimallien puute sekä vastausten vaihtelevaisuus. Se tarjosi enemmän mahdollisuuksia yksilöllisen avun ja helpon ylläpidon suhteen. Testaus osoitti, että tekoälyjärjestelmä ei toimisi hyvin itsenäisenä järjestelmänä, mutta yhdistettynä perinteiseen ohjekeskukseen se osoittaa potentiaalia nopeaan ja personoituun asiakastukeen. Tuotantovalmis järjestelmä vaatii lisää kehitystä ja tutkimusta.

This thesis aimed to improve the user support experience in the commissioner’s archival software by developing an online platform for essential software instructions, allowing users to troubleshoot common issues, and freeing up support and development teams' time. This thesis's final products were a help centre site and a retrieval-augmented conversational AI system. The main technologies used were Laravel and Tailwind CSS. One of the main goals was to explore AI implementation possibilities in a data-privacy-sensitive application. The AI system was built on top of the base site, leveraging LlamaIndex as the retrieval-augmented generation framework, OpenAI's GPT-3.5 Turbo model, and Ada text embedding model for natural language processing tasks.

Compared to the more conventional help centre, the AI system's main disadvantage was a lack of adequate open-source large language models that supported Finnish and inconsistent answers. It offered more possibilities for tailored support and easier upkeep. The testing results imply that the AI system would not work well on its own, but when combined with the traditional Help Centre, it shows potential for quick, personalised assistance. More development and research are required for a production-ready system.