Käyttöohjeavustin RAG-teknologialla

Abstract

Tekoälyn kyvykkyys ymmärtää ja tuottaa luonnollista kieltä on kehittynyt paljon suurten kielimallien ansiosta. Nämä mallit ovat valtavalla määrällä dataa koulutettuja tekoälymalleja, jotka pystyvät yleistämään oppimansa uusiin tehtäviin. Esimerkiksi OpenAI:n GPT-kielimallit ovat mahdollistaneet uusia sovelluksia niin liiketoiminnassa kuin arkipäivän tehtävissä kuten asiakaspalvelun automatisoinnissa ja ohjelmoinnin avustamisessa. Suurten kielimallien käytössä ilmenee kuitenkin haasteita. Mallit voivat hallusinoida eli tuottaa virheellistä tietoa, mikä on erityisen haitallista tarkkuutta vaativissa sovelluksissa kuten käyttöohjeavustimissa. RAG (Retrieval-Augmented Generation) -teknologia tarjoaa ratkaisun vähentämällä hallusinaatioiden riskiä hankkimalla ajantasaisempaa tietoa ulkoisista lähteistä ennen vastausten muodostamista.

Opinnäytetyön tavoitteena oli kehittää Python-ohjelmointikielellä käyttöohjeavustin, joka hyödyntää RAG-teknologiaa ja mikropalveluarkkitehtuuria. Käyttöohje annetaan sovellukselle PDF-tiedostona, joka luetaan tietokantaan. Suuri kielimalli tuottaa vastauksen hyödyntämällä tietokannasta haettua kysymykseen liittyvää tietoa.

Työssä onnistuttiin pilkkomaan RAG-sovellus mikropalveluiksi. Sovellus pystyy vastaamaan käyttöohjeeseen liittyviin kysymyksiin yksityiskohtaisemmin ja tarkemmin kuin perinteinen suuri kielimalli, ja sen tuottamat vastaukset ovat ajantasaisempia. Sovellus kieltäytyy lähtökohtaisesti vastaamasta kysymyksiin, ellei kielimalli katso saavansa riittävästi dataa käyttöohjeesta. Siten hallusinoinnin riski on huomattavasti pienempi kuin pelkällä perinteisellä suurella kielimallilla. Mikropalveluarkkitehtuuri nopeutti ja joustavoitti kehitystä sekä lisäsi sovelluksen skaalautuvuutta, sillä eri toiminnallisuudet voitiin kehittää ja ylläpitää itsenäisesti.

Tulevaisuudessa sovellusta voidaan kehittää lisäämällä tuki eri suurille kielimalleille sekä personoimalla käyttäjäkokemusta autentikoinnin ja datan keräämisen avulla. Kehityksessä on huomioitava eettiset ja tietosuojanäkökohdat erityisesti käyttäjädatan käsittelyssä.

Artificial intelligence's (AI) capability to understand and generate natural language has greatly improved due to large language models (LLMs). These are AI models trained on massive datasets, enabling them to generalize their learning to new tasks. However, the deployment of these large models is not without challenges. A significant issue is model hallucination, where the models can sometimes generate incorrect information. This is particularly problematic for tasks that need accurate details, such as helping with user manuals. Retrieval-Augmented Generation (RAG) technology helps solve the problem of hallucinations by using up-to-date information from outside sources before creating answers.

The goal of this project was to build a user manual assistant using Python, RAG technology, and a microservice architecture. The application ingests user manuals in PDF format and stores them in a database. A large language model then creates answers using related information from this database.

The RAG application was successfully implemented as a microservice-based system, providing more accurate and up-to-date answers than a regular LLM. It refuses to answer without enough manual information, greatly reducing hallucinations. The microservice architecture also made development faster, more flexible, and the application more scalable.

Future enhancements include diverse LLMs, personalization, data ethics.