Generating animated shows from text-based AI storytelling

Abstract

Suuria kielimalleja voidaan hyödyntää laajasti erilaisissa generatiivisissa tehtävissä, joista yksi on kyky luoda tarinankerrontaa. Mallit voivat luoda uusia kertomuksia pohjautuen mihin tahansa aiheeseen, teemaan tai muihin kuvaileviin avainsanoihin. Mahdollisuudet ovat käytännössä loputtomat, mutta yksi keskeinen rajoite on olemassa – lopputulos on pelkkää tekstiä. Se ei sisällä visuaalisia elementtejä, ääniä tai mitään muutakaan.

Tämän opinnäytetyön tavoitteena oli tutkia ja testata menetelmiä, joilla tekstipohjainen tekoälyn tarinankerronta voitaisiin esittää visuaalisessa muodossa.

Tavoite saavutettiin hyödyntämällä kehotesuunnittelua, jonka avulla tekoäly ohjataan muotoilemaan tarinankerronta mukautetussa formaatissa. Tämä formaatti, joka koostuu tarinan hahmojen teoista ja dialogista voidaan simuloida interaktiivisena 3D-animaationa Unity-pelimoottorilla luodussa virtuaaliympäristössä. Työn motiivina oli ensisijaisesti viihdearvo, mutta samankaltaista konseptia voitaisiin soveltaa myös muissa käyttötarkoituksissa.

Opinnäytetyön tuloksena on toimiva prototyyppi, joka saavuttaa keskeisen tavoitteen. Uusia animaatioesityksiä voidaan luoda napin painalluksella, tarjoten myös mahdollisuuden vaikuttaa lopputulokseen ennalta määrättyjen avainsanojen avulla. Projektin nykyinen tila toimii hyvänä pohjana jatkokehitykselle.

Large language models can be used for a wide range of different generative tasks, one of which is the ability to do storytelling. The models can generate new narratives based on any topic, theme, or other qualitative features. Possibilities are virtually endless, however, there is one key drawback – the output is just text and only that. There are no visual elements, audio, or anything else.

The objective of this thesis was to research and experiment with methods that could transform text-based artificial intelligence (AI) storytelling into a consistent visual format.

This was accomplished by utilizing prompt engineering techniques to guide the AI to use a custom format for its storytelling. This format, consisting of character actions and dialogue could then be simulated as an interactive 3D animation inside a virtual environment made with Unity. The project’s motive was primarily entertainment value, but a similar concept could also be used for other purposes.

The result of this thesis was a working prototype that achieves the general objective. New animation shows can be generated with the press of a button, also offering the option to influence the outcome with user-defined keywords and other data. Overall, the current state of the project serves as a good base for any future development.