Real-time motion capture and streaming for remote collaboration

Abstract

Harvard Business Review’in mukaan etätyö kasvoi pandemian aikana 6 % – yli 50 %:iin, mutta on laskenut vuoden 2023 alusta lähtien ja vakiintunut noin 28 %:iin. Tämä kertoo siitä, että etätyö on jäänyt pysyväksi osaksi työelämää, vaikka sen määrä onkin vähentynyt huippulukemista. Tietyillä aloilla, kuten esittävässä taiteessa, etätyömahdollisuudet ovat kuitenkin rajalliset, mikä luo haasteita esimerkiksi työn jatkuvuudelle ja saavutettavuudelle.

Opinnäytetyössä tutkittiin etätyön hyötyjä taidealalla keskittymällä liikedatan välittämiseen internetin yli virtuaaliesityksiä varten. Työssä kehitettiin järjestelmä, jossa Unityssä animoitu avatar tuotti liikedataa, joka lähetettiin palvelimelle ja vastaanotettiin toisessa ohjelmassa. Tutkimuksessa analysoitiin liikedatan siirtoon liittyviä rajoituksia, kuten viivettä ja tiedon eheyttä, sekä pyrittiin löytämään keinoja niiden optimointiin. Tuloksena syntyi prototyyppi, joka osoitti, millaisia haasteita ja mahdollisuuksia liikedatan reaaliaikainen siirtäminen tuo virtuaalisiin esityksiin.

Ratkaisu hyödyntää Unitya ja Node.js:ää sekä liikkeentunnistusta, VR-laseja ja palvelinpohjaista rajapintaa, joka siirtää liike-, puhe- ja ohjausdataa. Haasteiden arviointiin käytettin räätälöityä mittaustyökalua ja kolmannen osapuolen ohjelmistoja.

Tulokset osoittavat, että avatar-pohjaiset live-esitykset ovat teknisesti toteutettavissa ja voivat tarjota uusia mahdollisuuksia esittävälle taiteelle. Havaittujen haasteiden ja mahdollisuuksien perusteella jatkotutkimus olisi perusteltua.

According to Harvard Business Review, remote work surged from 6% to over 50% during the pandemic but has declined since early 2023, now stabilizing at around 28%. This indicates that remote work has become a permanent part of working life, even though its prevalence has decreased from its peak levels. However, in certain fields, such as performing arts, remote work opportunities are limited, creating challenges for job continuity and accessibility.

The thesis examined the benefits of remote work in the arts by focusing on the transmission of motion data over the internet for virtual performances. A system was developed in which an animated avatar in Unity generated motion data, which was sent to a server and received by another application. The study analyzed the limitations of motion data transfer, such as latency and data integrity, and explored ways to optimize these factors. The result was a prototype that demonstrated the challenges and possibilities of real-time motion data transmission for virtual performances.

The solution is built with Unity and Node.js, incorporating motion detection, VR glasses, and a server-based interface to transmit movement data, speech, and control signals. A custom measurement tool and third-party software help assess challenges.

The results indicate that avatar-based live performances are technically feasible and could offer new possibilities for the performing arts. Based on the observed challenges and opportunities, further research would be warranted.