Facial animation asset creation for Unity using 2D landmark data

Abstract

Peliteollisuudessa kasvoanimaatio on keskeinen osa uskottavien ja ilmeikkäiden hahmojen luomisessa. Korkealaatuisten kasvoanimaatioiden tuottaminen voi olla haastavaa erityisesti pienille kehitystiimeille. Tässä opinnäytetyössä kehitettiin modulaarinen menetelmä, jonka avulla 2D-kasvojen avainpisteistä voidaan tuottaa Unity-pelimoottorissa käytettäviä kasvoanimaatioita. Tavoitteena oli mahdollistaa korkealaatuinen kasvoanimaatio myös pienille tiimeille ja itsenäisille kehittäjille. Ratkaisussa hyödynnettiin dlib-kirjaston 68-pisteen kasvoavainpistemallia, jonka avulla kasvojen liikkeet voitiin tallentaa tavallisella verkkokameralla tai videolta. Prosessi jaettiin kolmeen vaiheeseen: tallennus, prosessointi ja soveltaminen. Jokainen vaihe suunniteltiin vaihdettavaksi, mikä helpottaa järjestelmän laajentamista ja muokkaamista. Se tarjoaa mahdollisuuden säätää animaatioarvojen tulkintaa, minkä ansiosta ratkaisu solvetuu erityisesti tyyliteltyjen hahmojen animointiin. Prosessin lopputuloksena saatiin Unityn standardimuotoiset animaatioklipit, joita voidaan hyödyntää suoraan pelimoottorissa ja viimeistellä tarvittaessa Unityn omilla työkaluilla. Tulokset osoittivat, että hyvin suunniteltu, modulaarinen menetelmä mahdollistaa ilmeikkään kasvoanimaation toteuttamisen rajallisillakin resursseilla.

This thesis investigates how a modular workflow using 2D facial landmark data can be designed to efficiently generate usable facial animation assets for stylized or low-fidelity game characters in Unity. The work presents a practical pipeline that leverages dlib’s 68-point facial landmark detection to capture facial performance from standard webcams or video files, making landmark-based animation accessible to small teams and independent developers. The workflow is intentionally modular, divided into recording, processing, and application stages, each designed for flexibility and easy adaptation to different project needs. Artist-configurable parameters and normalization techniques are emphasized, allowing for creative control and adaptability across a range of character styles. The system outputs standard Unity animation clips, which can be further refined using familiar engine tools. While the approach has limitations in input quality and landmark detail, the results demonstrate that expressive, artist-driven facial animation is achievable with modest resources. The modular design also supports future expansion, making the workflow adaptable for other animation data types and production requirements. This work aims to lower the barrier for high-quality facial animation in Unity, especially for stylized projects where traditional solutions are impractical.