En kvalitativ utvärdering av prestandan för GPT SW3 språkmodeller implementerade i en chattbot

Abstract

Detta examensarbete presenterar en kvalitativ utvärdering av prestandan hos GPT-SW3 språk-modeller, utvecklad av AI Sweden, när den implementeras i en chattbot. Utvecklingen av nya språkmodeller sker i snabb takt, vilket gör utvärderingar för språkmodeller allt mer viktiga för att kunna bedöma deras användarbarhet. Syftet för detta arbete är att bedöma konversationsför-mågan hos tre olika GPT-SW3-modellstorlekar genom att utvärdera deras prestanda utifrån fyra olika kriterier; sammanhang, kreativitet, förståelse av användarens avsikt samt relevans. Utvär-deringen genomförs genom mänsklig utvärdering genom att utföra konversationer med en chattbot som använder GPT-SW3-modeller. Resultaten ger en analys av styrkorna och svaghet-erna hos GPT-SW3 modeller, med särskilt fokus på modellstorlekens påverkan på dess pre-standa. Dessutom tar detta arbete upp de begränsningar som finns i mänsklig utvärdering, så som partiskhetens påverkan på resultaten. Arbetet ger insikter på hur GPT-SW3 modeller kan tillämpas i praktiken i en chattbot och visar dess förmågor utan finjustering av modellen.