Generative AI for enhanced 360 environments : can AI create better 360 environments?

Abstract

Generatiivinen tekoäly on lähivuosina kehittynyt paljon, antaen suuren mahdollisuuden luoda kuvia erilaisiin käyttötarkoituksiin. Tekoälyllä pystyy luomaan kuvia antamalla tekstiperäisiä ohjeita, josta se luo kuvan halutulla tyylillä ja tarkkuudella. Opinnäytetyön tarkoituksena oli testata, pystyykö generatiivinen tekoäly luomaan 360-asteisia kuvia virtuaalitodellisuuskäyttöön. Opinnäytetyön alussa valittiin Stable Diffusion -tekoäly ja siihen sopiva malli. Tässä tarkoituksessa malli sisältää mitä tekoälylle on opetettu kuvien luomisesta ja antaa sille sen tyylin ja kyvyt. Valittu malli, jonka valitsimme ei ole alkujaan tehty 360-asteisille kuville, mutta testauksen jälkeen se todettiin parhaaksi muiden mallien joukosta. Näitä tekoälyn luomia kuvia verrattiin kuviin, jotka oli otettu 360-asteisiin kuviin tarkoitetulla kameralla. Tähän tarkoitukseen käytettiin Insta360 Pro - virtuaalitodellisuuskameraa. Kamerassa oli kuusi 200 asteen linssiä, joilla otetuista kuvista yhdistettiin yksi 360-asteinen kuva. Kuvien keskenään vertailun lisäksi kysyimme mielipiteitä testaajiltamme. Tämä testaus tehtiin niin että testaajat eivät tienneet mitkä kuvista olivat tekoälyn ja mitkä eivät. Vertaileminen suoritettiin virtuaalitodellisuudessa Unity-pelimoottoria ja Meta Quest 2 -virtuaalitodellisuuslaseja käyttäen. Testauksen lopputuloksena saatiin se, että tekoälyllä saa luotua käyttökelpoisia kuvia. Näiden kuvien luontiin tarvitsee käyttää parantamismenetelmiä, jotka nostavat kuvan tarkkuuta ilman yksityiskohtien menettämistä.

This thesis work investigates whether generative AI, specifically Stable Diffusion can create better 360-degree environments. The thesis firstly examined how images are created and how to use image creation in virtual reality. The next step for this thesis was to create conventional images with the Insta360 Pro virtual camera in order to comparing images with AI-generated ones. This camera takes a picture with six cameras that have 200-degree lenses, and the images are then stitched together in a software provided by Insta360. After the images have been stitched to a 360-degree image, it can be sent to the Unity game engine. Inside Unity, the image is placed into a virtual reality environment where the image can be looked at with a Meta Quest 2 Virtual reality headset.

Inside the Unity virtual reality environment, both conventional and AI-generated images were examined by seven testers. The testers evaluated the images based on their visual appeal and overall pleasantness. Each tester provided scores and comments for the images.

As anticipated, the AI-generated images received lower scores compared to the conventional images, although most were still enjoyable to look at.

Based on the testers' feedback, it can be concluded that AI can create usable 360-degree images for virtual reality when sufficient effort is put into their generation.