Suuret kielimallit pelinkehityksessä

Abstract

Opinnäytetyön tavoitteena oli tutkia suuria kielimalleja ja niiden toiminnan tehostamista RAG-dokumenttihaun avulla. Työ toteutettiin ajamalla tekoälymallit Docker-virtualisointiympäristössä omalla laitteistolla.

Työ aloitettiin vektorisoimalla Unity-pelimoottorin dokumentaatio, joka tallennettiin tietokantaan. Dokumentaatio siivottiin ja pilkottiin alikansioihinsa skriptillä, jonka jälkeen sen vektorisointi aloitettiin. Syötetty dokumentaatio sisälsi HTMLtiedostoja, jotka koostuivat käyttöohjeista ja koodiesimerkeistä. Tietokannasta dokumentit tulivat tekoälyn ja RAG-dokumenttihaun käytettäväksi.

Vektoritietokannan käyttäjäksi rakennettiin Kielimallin ja RAG:n yhdistelmä, jossa kaikki kolme järjestelmää voivat käyttää toisiaan tehostamaan ja parantamaan tuloksia. Käyttäjä voi valita järjestelmästä yksittäisen mallin tai käyttää niitä toistensa tukena. Käytetyt tekoälymallit valittiin avoimista vaihtoehdoista, jotta työn yksityisyystavoitteet täyttyisivät.

Valmistunutta järjestelmää hyödynnettiin ratkaisemaan vanhan pelinkehitysprojektin aiempia ongelmia. Testejä toteutettiin kaikilla malliyhdistelmillä, jotta tulosten eroavaisuudet selviäisivät.

Järjestelmä suoriutui tehtävistään ja sen toiminta parani, kun RAG-dokumenttihakua käytettiin kielimallin apuna. Lisäksi RAG suoriutui tietyistä tehtävistä paremmin kuin erillinen kielimalli.

The purpose of this thesis was to research and test Large Language Models as an assistant to game development. It further focused on Retrieval-Augmented Generation and how that can be used to improve language model’s performance. Related models were also run on a local environment within Docker virtualization software.

The initial step in creating a language model pipeline was the acquisition of relevant documents. In this case it was the entire documentation of Unity game engine, which was downloaded as HTML-files, split into subfolders and vectorized into a database.

Once the database was usable, a hybrid RAG & LLM system was created to use it as a fact-checker. The system was tested with queries of already solved problems to see if it could guide its user to a matching solution. Tests were conducted with various combinations of RAG and pure LLM models.

Overall, the system managed to reach acceptable solutions, when assisted by the database and RAG and showed significantly improved coherence with it.