Next generation of NPC dialogue: creating responsive NPCs (Non-Player Characters) with Retrieval-Augmented Generation and real-time player data

Abstract

Suurten kielimallien (LLM), Retrieval-Augmented Generation (RAG) -tekniikan ja reaaliaikaisten pelaajatapahtumien integrointia ei-pelaajahahmojen (NPC) kehittämisessä videopeleissä tutkittiin parantaakseen dialogien monipuolisuutta, syvyyttä ja uskottavuutta. Tutkimuksen tavoitteisiin kuului kehittää mukautuvia ja asiayhteyden ymmärtäviä NPC-hahmoja, mitata NPC-hahmojen kykyä ylläpitää immersiota, LLM:ien vaikutusta tarinaan ja NPC-hahmojen uskottavuuteen, mitata laskennallisia ja taloudellisia kustannuksia, mitata dialogin generoinnin viivettä sekä vähentää NPC-dialogien hallusinaatioita.

Tutkimuksessa käytettiin Design Science Research (DSR) -metodologiaa, jossa ensiksi tunnistettiin ongelma ja seuraavaksi artefaktien suunnittelulla ja arvioinnilla. Järjestelmäarkkitehtuuri sisälsi tiedonkulun ja -hallinnan, hakujärjestelmät ja generointijärjestelmät, tietojen säilyttämisen ja haun. Arviointityökalut integroitiin mittaamaan kehitettyjen artefaktien suorituskykyä ja ominaisuuksia. Tulokset osoittivat, että artefakti pystyi jossain määrin ylläpitämään NPC-hahmojen tarinan laatua ja uskottavuutta.

Tulokset osoittivat kuitenkin myös joitakin keskeisiä parannusalueita: hallusinaatioita esiintyi kontekstuaalisista lieventämistoimista huolimatta, ja taloudelliset kustannukset olivat huomattavat, jos järjestelmää skaalattiin. Dialogin generoinnin viivettä onnistuttiin vähentämään parannetulla mallilla, ja hakujärjestelmä otettiin käyttöön hallusinaatioiden vähentämiseksi, mikä paransi NPC-hahmojen vuorovaikutuksen laatua ja luotettavuutta.

Tutkimuksen tulokset antoivat oivalluksia LLM:ien ja RAG:in potentiaalista, kyvyistä ja haasteista pelikehityksessä. Tulevaa tutkimusta suositellaan kustannusten ja viiveen optimoimiseksi edelleen sekä uusien menetelmien ja parannusten kehittämiseksi NPC-dialogien hallusinaatioiden vähentämiseksi.

The integration of Large Language Models (LLMs), Retrieval-Augmented Generation (RAG) and real-time player events in non-player character (NPC) development for video games was studied to improve dialogues variety, depth and believability. The research objectives included developing adaptive and contextual NPCs, measuring the NPC capability on maintaining immersion, impact of LLMs on narrative and NPC believability, measuring the computational and financial costs, measuring dialogue generation latency, and mitigating hallucinations in NPC dialogue.

A Design Science Research (DSR) methodology was used, starting with problem identification and then artifact design and evaluation. The system architecture included data flows and management, retrieval and generation systems, data persistency and search. Evaluation tools were integrated to measure the performance and capabilities of the developed artifacts.

The results showed that the artifact was somewhat able to maintain the narrative quality and believability of NPCs. However, the results also demonstrated some key areas for improvements: hallucinations were present regardless of contextual mitigation and the financial costs were notable if the system were scaled. Latency in dialogue generation was successfully reduced with an improved model, and a retrieval system was implemented to mitigate hallucinations, improving the quality and reliability of interactions with NPCs.

The study results provided insights into the potential, capabilities and challenges of LLMs and RAG in game development. Future research is recommended to further optimize costs and latency and come up with additional methods and improvements for reducing hallucinations in NPC dialogue.