Implementering och utvärdering av en hjälpchattbot för högskolans webbplats

Abstract

I det här arbetet bygger och utvärderar jag en chattbot vars syfte är att användas som hjälp chatt på yrkeshögskolan Arcadas hemsida. Chattbotten består av två delar. En ANN-del som hämtar kontextdata från Arcadas webbsida och en LLM-del som genererar svar baserat på informationen ANN-delen hämtar. Teknologin jag använder för ANN-delen är Facebook AI Similarity Search. För LLM-delen använder jag GPT4All. Den huvudsakliga design principen bakom chattbotten är flexibilitet. Den är byggd så att dess olika komponenter ska kunna ersattas så lätt som möjligt. I det här arbetet utvärderar jag chattbotten manuellt. Jag utvärderar svaren den ger på huruvida informationen i svaret är sann och informationens relevans dvs huruvida den hand lar om rätt ämne. Den slutliga chattbotten lyckas ge relevanta svar på 78 % av frågorna som ställs till den och 87 % av frågorna innehåller endast sann information. Arbetet visar hur grunden som presenteras kan vidareutvecklas till en färdig produkt, genom att till exempel göra chattbotten snabbare och lägga till stöd för det svenska språket, samt finslipa informationsflödet för att ge bättre svar.

In this thesis, I build and evaluate a chatbot intended to be used as a help chat on the websiteof Arcada University of Applied Sciences. The chatbot consists of two parts. An ANN part that retrieves context data from the Arcada website and an LLM part that generates answers based on the information retrieved by the ANN part. The technology I use for the ANN part is Facebook AI Similarity Search. For the LLM part I use GPT4All. The main design principle behind the chatbot is flexibility. It is built so that its different components can be replaced as easily as possible. In this thesis, I evaluate the chatbot manually. I evaluate the answers it gives based on whether the information in the answer is true as well as the relevance of the information, i.e. whether it is about the right topic. The finished chatbot manages to provide relevant answers to 78 % of the questions and 87 % of the questions contain no false information. The thesis shows how the foundation presented can be further developed into a finished prod uct, for example by making the chatbot faster and adding support for the Swedish language, as well as refining the flow of information to provide better answers.